本研究は、生ステレオ波形から直接フルデュプレックスエージェント会話を採点するオーディオ審査官として機能するGeminiモデル(2.5 Flash、3.5 Flash、3.1 Pro)の実証的信頼性を報告している。
- Gemini 2.5 Flashは基準真値モデルとして使用され、8つの本番環境の次元にわたる209件のステレオセッションにおいて3人の較正済み人間評価者と検証された。
- 8つの次元のうち5つにおいて、LALMと人間のSpearman rhoはペアごとの人間間rhoと最大0.07しか異ならず、8つの次元のうち7つで信頼区間が重なっていた。
- Gemini 3.5 Flashは単純一致を8つの次元すべてで向上させた一方、3.1 Proはランク相関が同等にもかかわらず、複数の次元で人間よりも著しく低い評価を行った。
- LALMは48の欠陥次元セルのうち45で人間と同程度またはそれ以上の感度を示したが、その多くは検出力不足の帰無仮説であり、明確な同等性が示されたわけではない。
- 人間の評価コストは、評価対象の頻度における同等のLALM作業負荷よりも約2桁高い。
このデータは、証拠が支持する次元においてLALMを代替者または第4の評価者として導入するための防御可能な実証的基盤を提供するが、モデルの交換には特定の較正検証が必要である。