O google gemini 4 carbon ocupa o segundo lugar no novo benchmark de agente de conhecimento multimodal, demonstrando maior eficiência de custo

A Google, em colaboração com a Artificial Analysis, lançou o benchmark do Agente de Conhecimento Multimodal (MKA) para avaliar as capacidades dos agentes de IA no tratamento de documentos visuais complexos e tarefas de conhecimento do mundo real. O novo conjunto de testes consiste em 200 tarefas, desenvolvidas com especialistas de domínio em 10 indústrias e 83 profissões, abrangendo áreas como engenharia, finanças e medicina. Estes projetos profissionais simulados normalmente exigem que funcionários experientes dediquem de 3 a 8 horas para concluí-los. A Google informou que o seu Gemini 4 Carbon obteve o segundo lugar no ranking entre os modelos participantes. Crucialmente, o custo médio da tarefa para o Gemini 4 Carbon era apenas um sexto do custo do modelo de melhor classificação. Rohan Doshi, Gerente de Produto Sênior na Google DeepMind, e Ben Caine, Engenheiro Chefe, notaram que muitos benchmarks de conhecimento existentes dependem apenas de texto, enquanto o trabalho do mundo real exige análise de dados visuais. A estrutura de avaliação exige que todos os modelos funcionem no framework de código aberto Stirrup, utilizando ferramentas e ambientes de sandbox idênticos. A pontuação final é realizada por um sistema de agente construído fora da Google, que verifica os resultados em relação aos padrões de especialistas, alcançando uma taxa de consistência de 96% com a pontuação humana. Embora as 200 tarefas oficiais sejam privadas para evitar a fuga de dados, 10 tarefas foram disponibilizadas no Hugging Face para avaliação de desenvolvedores. O Gemini 4 Carbon está atualmente disponível através da API Gemini no Google AI Studio.