Google ha lanzado la primera evaluación a doble ciego del mundo de un modelo de IA propietario de clase frontier en asociación con el Singapore AI Safety Institute, OpenMined, AVERI y MLCommons. El piloto prueba un modelo Gemini Flash Lite contra benchmarks confidenciales dentro de un entorno que preserva la privacidad para evitar la contaminación de los benchmarks.
La iniciativa utiliza Google Cloud’s Confidential Space para verificar criptográficamente que los datos de evaluación externos y los pesos del modelo propietario permanezcan privados para sus respectivos propietarios. Este enfoque elimina el compromiso histórico entre revelar las preguntas de prueba o compartir los pesos del modelo, asegurando que ninguna de las partes pueda acceder a la información sensible de la otra durante las pruebas.
Al evitar que los modelos vean las preguntas de evaluación por adelantado, este método tiene como objetivo aumentar la integridad de la evaluación y proporcionar a los responsables políticos y empresas métricas confiables de las verdaderas capacidades y seguridad del modelo.