Google lança a primeira tecnologia de avaliação de IA com dupla cegueira para garantir testes de benchmark justos

A Google lançou a primeira tecnologia global de avaliação de IA com dupla cegueira, projetada para avaliar modelos de IA proprietários num ambiente seguro e criptografado. Esta abordagem limita a avaliação externa a um ambiente 'caixa preta', impedindo que os modelos acessem informações de teste com antecedência e, assim, garantindo a integridade dos resultados de benchmark. A iniciativa, desenvolvida em colaboração com o Singapore Institute for AI Safety, OpenMined, AVERI e MLCommons, envolve a realização de testes de benchmark confidenciais no modelo Gemini Flash Lite dentro de um ambiente protegido pela privacidade. A tecnologia aborda o desafio de longa data da avaliação externa, que anteriormente apresentava um dilema: ou o avaliador partilhava os prompts de teste com o modelo, correndo o risco de exposição antecipada, ou o modelo partilhava os seus pesos, correndo o risco de violações de propriedade intelectual. A metodologia de dupla cegueira resolve isto através do uso do Confidential Space do Google Cloud, que criptografa os dados para garantir que o avaliador não pode aceder aos pesos do modelo, enquanto a Google não pode ver os prompts de teste do avaliador. Esta criptografia impede a contaminação do benchmark e protege dados sensíveis, tornando-a particularmente importante para avaliações de segurança cibernética e governamentais. A Google enfatizou que este piloto visa estabelecer uma nova direção para a supervisão de modelos, ajudando a indústria a construir sistemas de IA mais seguros, fiáveis e de confiança. A empresa destacou a importância de manter a soberania e a segurança dos dados ao realizar testes rigorosos em modelos de IA avançados.