गूगल ने सिंगापुर AI सेफ्टी इंस्टीट्यूट, OpenMined, AVERI और MLCommons के साथ मिलकर एक प्रोप्राइटरी फ्रंटियर-क्लास AI मॉडल का दुनिया का पहला डबल-ब्लाइंड मूल्यांकन शुरू किया है। पायलट में गोपनीय बेंचमार्क्स के खिलाफ एक प्राइवेसी-प्रिजर्विंग एन्वायरमेंट में Gemini Flash Lite मॉडल का परीक्षण किया जा रहा है ताकि बेंचमार्क कंटैमिनेशन से बचा जा सके।
यह पहल Google Cloud’s Confidential Space का उपयोग करके क्रिप्टोग्राफिक रूप से सत्यापित करती है कि बाहरी मूल्यांकन डेटा और प्रोप्राइटरी मॉडल वजन उनके संबंधित मालिकों के लिए गोपनीय रहें। यह दृष्टिकोण टेस्ट प्रॉम्प्ट्स को उजागर करने या मॉडल वजन साझा करने के बीच ऐतिहासिक समझौते को समाप्त करता है, सुनिश्चित करते हुए कि परीक्षण के दौरान किसी भी पक्ष को दूसरे की संवेदनशील जानकारी तक पहुंच नहीं होगी।
मूल्यांकन प्रश्नों को पहले से देखने से मॉडलों को रोककर, यह विधि मूल्यांकन की अखंडता बढ़ाने और नीति निर्माताओं एवं उद्यमों को मॉडल की वास्तविक क्षमताओं और सुरक्षा के भरोसेमंद मापदंड प्रदान करने का लक्ष्य रखती है।