Google presenta la primera tecnología de evaluación de IA de doble ciego para garantizar pruebas de referencia justas

Google ha lanzado la primera tecnología global de evaluación de IA de doble ciego, diseñada para evaluar modelos de IA propietarios en un entorno seguro y cifrado. Este enfoque limita la evaluación externa a un entorno de 'caja negra', impidiendo que los modelos accedan a la información de las pruebas con antelación y, por lo tanto, garantiza la integridad de los resultados de las pruebas. La iniciativa, desarrollada en colaboración con el Instituto de Seguridad de IA de Singapur, OpenMined, AVERI y MLCommons, implica la realización de pruebas de referencia confidenciales en el modelo Gemini Flash Lite dentro de un entorno protegido por la privacidad. La tecnología aborda el desafío de larga data de la evaluación externa, que anteriormente planteaba un dilema: o el evaluador compartía las indicaciones de prueba con el modelo, lo que suponía un riesgo de exposición prematura, o el modelo compartía sus pesos, lo que suponía un riesgo de filtración de propiedad intelectual. El método de doble ciego resuelve este problema mediante el uso del Confidential Space de Google Cloud, que cifra los datos para garantizar que el evaluador no pueda acceder a los pesos del modelo, mientras que Google no puede ver las indicaciones de prueba del evaluador. Este cifrado evita la contaminación de las pruebas y protege los datos confidenciales, lo que lo hace especialmente importante para la ciberseguridad y las evaluaciones gubernamentales. Google ha enfatizado que este ensayo tiene como objetivo establecer una nueva dirección para la supervisión de modelos, ayudando a la industria a desarrollar sistemas de IA más seguros, fiables y de confianza. La empresa ha destacado la importancia de mantener la soberanía y la seguridad de los datos al realizar pruebas rigurosas de modelos de IA avanzados.