Google apresenta compreensão de vídeo orientada por agentes para modelos Gemini flash, reduzindo o uso de tokens em 88%

A Google introduziu a compreensão de vídeo orientada por agentes para os seus modelos Gemini Flash, reduzindo significativamente o uso de tokens de vídeo em até 88%. Esta nova funcionalidade permite que os modelos naveguem no conteúdo de vídeo de forma dinâmica, decidindo o que assistir, a que taxa de quadros e através de qual modalidade, em vez de processar toda a linha do tempo a uma taxa fixa. Esta alteração resulta em custos até 66% mais baixos e em uma precisão 7% superior nas avaliações de vídeo padrão. A processamento orientado por agentes substitui o processamento estático, que extrai quadros a 1 FPS e processa o áudio a 1 Kbps. Em vez disso, o modelo combina a sua própria razão com ferramentas de vídeo nativas para pesquisar, escanear e inspecionar segmentos-alvo em vários quadros, áudio e transcrições, carregando apenas o que o pedido requer. Esta abordagem permite que os desenvolvedores misturem modos por vídeo dentro de uma única solicitação, utilizando o processamento orientado por agentes para longas palestras e o processamento estático para clipes curtos. A funcionalidade está disponível através da API Gemini no Google AI Studio e na plataforma Gemini Enterprise Agent, suportando tanto o carregamento de arquivos quanto URLs públicas do YouTube. A contabilização de tokens é dividida em tokens de pensamento e tokens de utilização de ferramentas, sem taxas adicionais para a funcionalidade orientada por agentes. A Google destaca que o Gemini 3.7 Flash com compreensão orientada por agentes alcança um equilíbrio de precisão e eficiência de custo para a análise de vídeo.