Исследование проводит аудит протокольных упрощений в крупных аудио-языковых моделях (LALMs), используемых в качестве автоматических судей для оценки речи, выявляя, что высокое согласие с человеческими оценками не гарантирует, что вердикты основаны на фактическом аудиосигнале. Исследование рассматривает три протокола развертывания: судейство по спецификации признаков, судейство с учетом эталонных условий и парное сравнение A/B для шести судей и четырех атрибутов.

  • При судействе по спецификации признаков неверные метки специалистов снизили точность определения эмоций до 0.10 или ниже для пяти из судей.
  • При последовательном сравнении A/B модель Qwen3-Omni-Thinking часто выбирала один и тот же слот независимо от обмена порядка.
  • Результаты указывают на то, что совокупное согласие может преувеличивать валидность судей LALM, если модель и протокол оценки не оцениваются совместно.

Авторы приходят к выводу, что каждую пару модель-протокол следует оценивать с помощью сопоставленного зонда упрощений, чтобы обеспечить надежную оценку речи.