В данном исследовании оцениваются алгоритмы принятия решений с учётом неопределённости, основанные на байесовской теории принятия решений и подходах, ориентированных на избегание рисков, для задач LLM, таких как репетиторство и взаимная проверка работ. Авторы используют конформное прогнозирование для обеспечения гарантий относительно стратегий и оценок, обнаруживая, что эти методы могут повысить полезность генерации, но требуют тщательной реализации в условиях высокой неоднозначности.
- Работа применяет байесовскую теорию принятия решений и принятие решений, ориентированное на избегание рисков, к задачам репетиторства и автоматической взаимной проверки работ.
- Конформное прогнозирование используется для обеспечения гарантий относительно стратегий репетиторства и оценок проверок.
- Правила, ориентированные на избегание рисков, могут ухудшать производительность за счёт оптимизации под общие выходные данные, тогда как байесовские методы, как правило, показывают лучшие результаты.
- Высокая неоднозначность требует тщательной реализации этих алгоритмов для избежания негативного влияния на полезность.
Авторы считают это важным, поскольку используются техники теории принятия решений для улучшения принятия решений на основе LLM и обозначаются открытые вызовы для сообщества.