Google запустила первую в мире двойную слепую оценку проприетарной модели ИИ класса frontier совместно с Сингапурским институтом безопасности ИИ, OpenMined, AVERI и MLCommons. Пилотный проект тестирует модель Gemini Flash Lite на конфиденциальных бенчмарках в среде, обеспечивающей конфиденциальность данных, для предотвращения утечки информации из тестов.
Инициатива использует Google Cloud’s Confidential Space для криптографической проверки того, что внешние данные оценки и проприетарные веса модели остаются приватными для их владельцев. Этот подход устраняет исторический компромисс между раскрытием тестовых запросов или передачей весов модели, гарантируя, что ни одна из сторон не получит доступ к конфиденциальной информации другой во время тестирования.
Предотвращая возможность моделей заранее просматривать вопросы для оценки, этот метод направлен на повышение достоверности оценок и предоставление политикам и предприятиям надежных метрик истинных возможностей и безопасности модели.