यह अध्ययन गेमिनी मॉडल्स (2.5 Flash, 3.5 Flash, और 3.1 Pro) की प्रायोगिक विश्वसनीयता को दर्शाता है, जो कच्चे स्टीरियो वेवफॉर्म से सीधे पूर्ण-डुप्लेक्स एजेंट संवादों का मूल्यांकन करने वाले ऑडियो जज के रूप में कार्य करते हैं।
- गेमिनी 2.5 Flash को भूमि-सत्य मॉडल के रूप में उपयोग किया गया, जो 8 उत्पादन आयामों पर 209 स्टीरियो सत्रों पर तीन संतुलित मानव रेटर्स के खिलाफ सत्यापित किया गया।
- 8 में से 5 आयामों पर, LALM-मानव स्पीयरमैन रो का जोड़ीवार मानव-मानव रो से विचलन अधिकतम 0.07 था, और 8 में से 7 आयामों पर आत्मविश्वास अंतराल ओवरलैप थे।
- गेमिनी 3.5 Flash ने सरल सहमति को 8 में से 8 आयामों तक बढ़ाया, जबकि 3.1 Pro ने कई आयामों का मूल्यांकन मानवों की तुलना में काफी कम किया, भले ही रैंक सहसंबंध समान था।
- LALM 48 में से 48 दोष-आयम सेलों में मानवों के बराबर या बेहतर संवेदनशीलता रखता है, हालांकि अधिकांश कम शक्ति वाले शून्य परीक्षण हैं न कि सिद्ध समानता।
- मानव रेटिंग का खर्च मूल्यांकित गति के लिए समतुल्य LALM कार्यभार की तुलना में लगभग दो गुणा अधिक है।
डेटा उन आयामों पर LALM को प्रतिस्थापन या चौथा रेटर के रूप में तैनात करने के लिए एक सुरक्षित प्रायोगिक आधार प्रदान करता है, जहां साक्ष्य इसे समर्थित करते हैं, हालांकि मॉडल स्विच के लिए विशिष्ट संतुलन सत्यापन की आवश्यकता होती है।