Este estudio informa la fiabilidad empírica de los modelos Gemini (2.5 Flash, 3.5 Flash y 3.1 Pro) actuando como jueces de audio que puntúan conversaciones de agentes full-dúplex directamente a partir de ondas estéreo sin procesar.
- Gemini 2.5 Flash sirvió como modelo de referencia, validado frente a tres evaluadores humanos calibrados en 209 sesiones estéreo a lo largo de 8 dimensiones de producción.
- En 5 de las 8 dimensiones, el rho de Spearman LALM-humano se desvió del rho humano-pareja en un máximo de 0.07, con intervalos de confianza superpuestos en 7 de las 8 dimensiones.
- Gemini 3.5 Flash mejoró el acuerdo simple a 8 de las 8 dimensiones, mientras que 3.1 Pro calificó varias dimensiones notablemente más bajo que los humanos a pesar de una correlación de rangos comparable.
- El LALM es tan sensible como los humanos o mejor en 45 de las 48 celdas de dimensión de defecto, aunque la mayoría son nulos con baja potencia estadística en lugar de paridad demostrada.
- La calificación humana cuesta aproximadamente dos órdenes de magnitud más que la carga de trabajo LALM equivalente para el ritmo evaluado.
Los datos proporcionan una base empírica defendible para desplegar el LALM como sustituto o cuarto evaluador en dimensiones donde la evidencia lo respalda, aunque los cambios de modelo requieren validación específica de calibración.