Google a lancé la première évaluation en double aveugle au monde d'un modèle d'IA propriétaire de classe frontier en partenariat avec le Singapore AI Safety Institute, OpenMined, AVERI et MLCommons. Le pilote teste un modèle Gemini Flash Lite contre des benchmarks confidentiels dans un environnement préservant la confidentialité pour éviter la contamination des benchmarks.
L'initiative utilise Google Cloud’s Confidential Space pour vérifier cryptographiquement que les données d'évaluation externes et les poids du modèle propriétaire restent privés pour leurs propriétaires respectifs. Cette approche élimine le compromis historique entre révéler les prompts de test ou partager les poids du modèle, garantissant qu'aucune des parties ne peut accéder aux informations sensibles de l'autre pendant les tests.
En empêchant les modèles de consulter les questions d'évaluation à l'avance, cette méthode vise à augmenter l'intégrité de l'évaluation et à fournir aux décideurs politiques et aux entreprises des métriques fiables des véritables capacités et de la sécurité du modèle.