Cette étude rapporte la fiabilité empirique des modèles Gemini (2.5 Flash, 3.5 Flash et 3.1 Pro) agissant comme juges audio qui notent directement les conversations d'agents full-duplex à partir de formes d'onde stéréo brutes.
- Gemini 2.5 Flash a servi de modèle de vérité terrain, validé contre trois évaluateurs humains calibrés sur 209 sessions stéréo couvrant 8 dimensions de production.
- Sur 5 des 8 dimensions, le rho de Spearman LALM-humain s'écartait du rho humain-humain par paires d'au plus 0,07, avec des intervalles de confiance superposés sur 7 des 8 dimensions.
- Gemini 3.5 Flash a amélioré l'accord simple à 8 des 8 dimensions, tandis que 3.1 Pro a noté plusieurs dimensions nettement plus bas que les humains malgré une corrélation de rang comparable.
- Le LALM est aussi sensible que les humains ou mieux dans 45 des 48 cellules de dimension de défaut, bien que la plupart soient des hypothèses nulles sous-puissantes plutôt qu'une parité démontrée.
- Le coût d'évaluation humaine est environ deux ordres de grandeur plus élevé que le charge de travail LALM équivalente pour la cadence évaluée.
Les données fournissent une base empirique défendable pour déployer le LALM comme substitut ou quatrième évaluateur sur les dimensions où les preuves le soutiennent, bien que les échanges de modèles nécessitent une validation de calibration spécifique.