Googleは、Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsと提携し、独自のプロプライエタリなフロンティアクラスAIモデルに対する世界初の二重盲検評価を開始しました。このパイロットテストでは、ベンチマークの汚染を防ぐため、プライバシーを保護する環境内で機密性の高いベンチマークに対してGemini Flash Liteモデルをテストしています。

このイニシアチブは、Google Cloud’s Confidential Spaceを使用して、外部の評価データと独自モデルの重みがそれぞれ所有者にのみ非公開であることを暗号学的に検証します。このアプローチは、テストプロンプトを開示することとモデルの重みを共有することの間の歴史的なトレードオフを解消し、テスト中にいずれの当事者も相手の機密情報にアクセスできないことを保証します。

モデルが事前に評価質問を覗き見るのを防ぐことで、この方法は評価の整合性を高め、政策立案者や企業に対し、モデルの真の能力と安全性に関する信頼できる指標を提供することを目指しています。