Google presenta la comprensión de vídeo basada en agentes para los modelos Gemini flash, reduciendo el uso de tokens en un 88%

Google ha introducido la comprensión de vídeo basada en agentes para sus modelos Gemini Flash, reduciendo significativamente el uso de tokens de vídeo hasta un 88%. Esta nueva función permite que los modelos naveguen por el contenido de vídeo de forma dinámica, decidiendo qué ver, a qué velocidad y a través de qué modalidad, en lugar de procesar toda la línea de tiempo a una velocidad fija. Este cambio resulta en un ahorro de hasta un 66% en costes y una mayor precisión del 7% en las pruebas estándar de vídeo. El procesamiento basado en agentes reemplaza el procesamiento estático, que extrae fotogramas a 1 FPS y procesa el audio a 1 Kbps. En cambio, el modelo combina su propio razonamiento con herramientas de vídeo nativas para buscar, escanear e inspeccionar segmentos objetivo en fotogramas, audio y transcripciones, cargando solo lo que requiere la solicitud. Este enfoque permite a los desarrolladores combinar modos por vídeo en una sola solicitud, utilizando el procesamiento basado en agentes para conferencias largas y el procesamiento estático para clips cortos. La función está disponible a través de la API de Gemini en Google AI Studio y la plataforma Gemini Enterprise Agent, que admite tanto la carga de archivos como las URL públicas de YouTube. El seguimiento de los tokens se divide en tokens de pensamiento y tokens de uso de herramientas, sin costes adicionales para la función basada en agentes. Google destaca que Gemini 3.7 Flash con comprensión basada en agentes logra un equilibrio entre precisión y eficiencia de costes para el análisis de vídeo.