Исследование ставит под сомнение предположение о том, что ответы на промпты достоверно отражают ценности модели, сравнивая то, как большие языковые модели обрабатывают объективные и субъективные запросы. Исследователи оценили четыре семейства моделей с инструктивным обучением по трем объективным наборам данных (MMLU, ARC, CulturalBench) и трем субъективным наборам данных (Political Compass Test, ValueBench, World Values Survey). Применяя различные изменения промптов к каждому вопросу, они измеряли, сохраняют ли модели последовательные ответы среди вариантов.
- Были обнаружены значительные эффекты для модели, набора данных, категории промпта и их взаимодействий с использованием бинарных обобщенных уравнений оценки.
- Взаимодействие между типом набора данных и категорией промпта было особенно большим, что указывает на то, что устойчивость значительно варьируется в зависимости от характера вопроса.
- Результаты демонстрируют, что устойчивость промптов не является равномерной, но сильно зависит от конкретного типа вопроса, вида примененного изменения промпта и архитектуры модели.
Эти выводы предполагают, что оценки в стиле опросов, рассматривающие ответы как доказательство политических ценностей или социальных установок, являются хрупкими, поскольку последовательность нельзя предполагать для разных типов вопросов.