В данном исследовании сообщается об эмпирической надёжности моделей Gemini (2.5 Flash, 3.5 Flash и 3.1 Pro), выступающих в роли аудио-судей, которые оценивают разговоры полнодуплексных агентов непосредственно по сырым стерео волнам.
- Gemini 2.5 Flash служила эталонной моделью, проверенной против трёх калиброванных человеческих оценщиков на 209 стереосессиях по 8 производственным измерениям.
- По 5 из 8 измерений коэффициент ранговой корреляции Спирмена между LALM и человеком отклонялся от парного человеческого коэффициента не более чем на 0.07, при этом доверительные интервалы пересекались по 7 из 8 измерений.
- Gemini 3.5 Flash улучшила простое согласие до 8 из 8 измерений, в то время как 3.1 Pro оценила несколько измерений значительно ниже людей, несмотря на сопоставимую ранговую корреляцию.
- LALM столь же чувствителен к дефектам, как и люди, или даже лучше, в 45 из 48 ячеек измерений дефектов, хотя большинство из них являются статистически незначимыми нулевыми гипотезами, а не доказанным равенством.
- Стоимость человеческой оценки примерно на два порядка выше, чем эквивалентная нагрузка LALM для оцениваемой частоты.
Данные предоставляют обоснованную эмпирическую основу для развертывания LALM в качестве замены или четвёртого оценщика по измерениям, где доказательства это поддерживают, хотя замена моделей требует специфической калибровочной проверки.