Google lanza la primera evaluación de IA ciega para garantizar la integridad de las pruebas

Google ha lanzado la primera evaluación ciega del mundo de un modelo de IA propietario, con el objetivo de mejorar la confianza en las evaluaciones de referencia evitando la contaminación de las mismas. La iniciativa, llevada a cabo en colaboración con el Singapore AI Safety Institute, OpenMined, AVERI y MLCommons, consiste en probar un modelo Gemini Flash Lite contra referencias confidenciales en un entorno que protege la privacidad. Este enfoque garantiza que ni el modelo ni los evaluadores puedan acceder a los datos del otro, manteniendo así la integridad del proceso de evaluación. La evaluación utiliza técnicas criptográficas dentro del portafolio de Confidencial Computing de Google Cloud para proteger tanto el modelo como los datos de prueba. Este método permite verificar que los datos de evaluación externos y el modelo propietario permanecen privados para sus respectivos propietarios. El evaluador no puede ver los pesos del modelo Gemini, y Google no puede ver los prompts de prueba del evaluador, eliminando así el riesgo de contaminación de las pruebas. Google enfatiza la importancia de este enfoque a medida que los modelos de IA se vuelven más capaces, asegurando que su rendimiento no se infla artificialmente debido a la exposición previa a las preguntas de prueba. La empresa destaca la necesidad crítica de que los responsables de la formulación de políticas, los investigadores y las empresas confíen en que las pruebas de IA reflejan con precisión las capacidades y la seguridad reales de un modelo. La evaluación ciega aborda esto evitando que los modelos 'vean' las preguntas de evaluación con antelación. Esta iniciativa representa un avance significativo en la evaluación segura de modelos, superando los protocolos tradicionales de registro cero y las salvaguardas contractuales. Históricamente, las evaluaciones externas de alto riesgo requerían un compromiso entre la privacidad de los datos y el acceso al modelo, pero las evaluaciones ciegas eliminan este compromiso. Este método es particularmente importante para evaluaciones altamente sensibles, como las utilizadas en ciberseguridad o por organismos gubernamentales, donde la soberanía y la seguridad de los datos son primordiales. Google espera que este ensayo establezca un nuevo estándar para la supervisión de modelos, contribuyendo al desarrollo de sistemas de IA más seguros, fiables y de confianza. La empresa también ha publicado un informe técnico que detalla la metodología y los resultados de la evaluación, proporcionando más información sobre la implementación y los resultados de este enfoque innovador.