구글은 싱가포르 AI 안전 연구소, OpenMined, AVERI 및 MLCommons와 파트너십을 맺고 독점 프론티어급 AI 모델에 대한 세계 최초의 이중 맹검 평가를 출시했습니다. 이 파일럿 프로그램은 벤치마크 오염을 방지하기 위해 프라이버시 보호 환경 내에서 기밀 벤치마크를 대상으로 Gemini Flash Lite 모델을 테스트합니다.

이 이니셔티브는 Google Cloud’s Confidential Space를 사용하여 외부 평가 데이터와 독점 모델 가중치가 각각의 소유자에게 비공개로 유지되는지 암호학적으로 검증합니다. 이 접근 방식은 테스트 프롬프트를 공개하는 것과 모델 가중치를 공유하는 것 사이의 역사적인 타협을 제거하여 테스트 동안 어느 당사자도 상대방의 민감한 정보에 접근할 수 없음을 보장합니다.

모델이 평가 질문을 미리 엿보는 것을 방지함으로써 이 방법은 평가의 무결성을 높이고 정책 입안자와 기업에게 모델의 진정한 능력과 안전성에 대한 신뢰할 수 있는 지표를 제공하는 것을 목표로 합니다.