El modelo gemini 4 carbon de google ocupa el segundo lugar en el nuevo benchmark de agentes de conocimiento multimodales, mostrando una eficiencia de costes superior

Google, en colaboración con Artificial Analysis, ha lanzado el benchmark del Agente de Conocimiento Multimodal (MKA) para evaluar las capacidades de los agentes de IA en el manejo de documentos visuales complejos y tareas de conocimiento del mundo real. El nuevo conjunto de pruebas consta de 200 tareas, desarrolladas con expertos en el dominio en 10 industrias y 83 profesiones, que abarcan campos como la ingeniería, las finanzas y la medicina. Estos proyectos profesionales simulados normalmente requieren a los empleados con experiencia entre 3 y 8 horas para completarlos. Google informó que su Gemini 4 Carbon obtuvo el segundo lugar entre los modelos participantes. Crucialmente, el coste medio de la tarea para Gemini 4 Carbon era solo un sexto del del modelo mejor clasificado. Rohan Doshi, Product Manager Senior en Google DeepMind, y Ben Caine, Jefe de Ingeniería, señalaron que muchos de los benchmarks de conocimiento existentes se basan únicamente en el texto, mientras que el trabajo del mundo real exige el análisis de datos visuales. El marco de evaluación exige que todos los modelos funcionen en el marco de código abierto Stirrup, utilizando herramientas y entornos de sandbox idénticos. La puntuación final se realiza mediante un sistema de agente construido fuera de Google, que verifica los resultados en función de los estándares de los expertos, logrando una tasa de consistencia del 96% con la puntuación humana. Aunque las 200 tareas oficiales son privadas para evitar fugas de datos, 10 tareas se han publicado en Hugging Face para la evaluación de los desarrolladores. Gemini 4 Carbon está actualmente disponible a través de la API de Gemini en Google AI Studio.