Google lança a primeira avaliação de IA dupla-cego para garantir a integridade dos benchmarks

A Google lançou a primeira avaliação de IA dupla-cego do mundo, com o objetivo de aumentar a confiança nas avaliações de referência, prevenindo a contaminação dos benchmarks. A iniciativa, realizada em colaboração com o Singapore AI Safety Institute, OpenMined, AVERI e MLCommons, envolve o teste de um modelo Gemini Flash Lite contra benchmarks confidenciais num ambiente que preserva a privacidade. Esta abordagem garante que nem o modelo nem os avaliadores podem aceder aos dados uns dos outros, mantendo assim a integridade do processo de avaliação. A avaliação utiliza técnicas criptográficas no portfólio de Confiança de Computação do Google Cloud para proteger tanto o modelo como os dados de teste. Este método permite verificar que os dados de avaliação externos e o modelo proprietário permanecem privados aos seus respetivos proprietários. O avaliador não pode ver os pesos do modelo Gemini, e a Google não pode ver os prompts de teste do avaliador, eliminando assim o risco de contaminação do benchmark. A Google enfatiza a importância desta abordagem à medida que os modelos de IA se tornam mais capazes, garantindo que o seu desempenho não é artificialmente inflado pela exposição prévia a questões de teste. A empresa destaca a necessidade crítica para que os formuladores de políticas, investigadores e empresas confiem que os benchmarks de IA refletem com precisão as capacidades e a segurança de um modelo. A avaliação dupla-cego aborda isto, impedindo que os modelos 'espiem' as questões de avaliação com antecedência. Esta iniciativa representa um avanço significativo na avaliação segura de modelos, indo além dos protocolos tradicionais de não registo e salvaguardas contratuais. Historicamente, as avaliações externas de alto risco exigiam um compromisso entre a privacidade dos dados e o acesso ao modelo, mas as avaliações dupla-cegas eliminam este compromisso. Este método é particularmente importante para avaliações altamente sensíveis, como as utilizadas em cibersegurança ou por entidades governamentais, onde a soberania e a segurança dos dados são fundamentais. A Google espera que esta fase piloto estabeleça um novo padrão para a supervisão de modelos, contribuindo para o desenvolvimento de sistemas de IA mais seguros, fiáveis e de confiança. A empresa também lançou um relatório técnico que detalha a metodologia e os resultados da avaliação, fornecendo mais informações sobre a implementação e os resultados desta abordagem inovadora.