Масштабная оценка методов оценки неопределённости (UE) для 22 языков выявила, что побуждение моделей рассуждать на английском значительно повышает производительность, особенно для языков с малым объёмом данных. В исследовании сравниваются девять открытых и закрытых методов UE с использованием курируемых человеком наборов данных вопросов и ответов при получении развёрнутых рассуждений.

  • Побуждение моделей рассуждать на английском существенно улучшает производительность UE даже тогда, когда вопросы заданы на языках с малым объёмом данных, что указывает на то, что узкое место надёжности заключается в генерации, а не в понимании.
  • Использование английского для рассуждений сокращает разрыв в производительности UE между языками с малым и большим объёмом данных, демонстрируя, что язык генерации важнее языка вопроса.
  • Оптимальный метод UE зависит от масштаба модели: открытые методы на основе вероятностей превосходят альтернативы при меньших масштабах, тогда как закрытая самовербализованная неопределённость эффективна при больших масштабах.

Авторы дают рекомендации по выбору порога для селективного предсказания, чтобы помочь калибровать отказ от ответа в многоязычных условиях.