Google 与 Singapore AI Safety Institute、OpenMined、AVERI 和 MLCommons 合作,推出了全球首个针对专有前沿级 AI 模型的双盲评估。该试点在一个保护隐私的环境中,使用机密基准测试对 Gemini Flash Lite 模型进行测试,以防止基准测试数据泄露。
该计划利用 Google Cloud’s Confidential Space 通过密码学验证外部评估数据和专有模型权重仅对其各自的所有者保密。这种方法消除了历史上在公开测试提示词与共享模型权重之间的权衡,确保在测试期间任何一方都无法访问对方的敏感信息。
通过防止模型提前窥探评估问题,该方法旨在提高评估的完整性,并为政策制定者和企业提供关于模型真实能力和安全性的可信指标。