O Google lançou a primeira avaliação a cego duplo do mundo de um modelo de IA proprietário de classe frontier em parceria com o Singapore AI Safety Institute, OpenMined, AVERI e MLCommons. O piloto testa um modelo Gemini Flash Lite contra benchmarks confidenciais dentro de um ambiente que preserva a privacidade para evitar a contaminação dos benchmarks.
A iniciativa utiliza o Google Cloud’s Confidential Space para verificar criptograficamente que os dados de avaliação externos e os pesos do modelo proprietário permaneçam privados para seus respectivos proprietários. Essa abordagem elimina a troca histórica entre revelar prompts de teste ou compartilhar pesos do modelo, garantindo que nenhuma das partes possa acessar as informações sensíveis da outra durante os testes.
Ao impedir que os modelos antecipem as perguntas de avaliação, esse método visa aumentar a integridade da avaliação e fornecer aos formuladores de políticas e empresas métricas confiáveis das verdadeiras capacidades e segurança do modelo.