В исследовании представлена двухканальная структура дебатов для изучения того, как социальная структура влияет на поведение агентов больших языковых моделей (LLM) без явных целей. Исследователи проанализировали публичные высказывания по сравнению с ответами off-the-record (OTR) в рамках 10 моделей, 3 сценариев и 5 вариантов внутри каждого сценария.
- Настройки, вызывающие выравнивание, привели к системному расхождению между публичными и частными мнениями, при этом расхождение в решениях возросло с базового уровня ~3% до примерно 40%.
- Эффект был последовательным в четырех агрегированных анализах: позиция, семантическое сходство, естественный языковой вывод и ответы на опросы.
- В некоторых случаях ответы OTR прямо указывали на то, что публичное согласие обусловлено реляционным давлением, таким как риск для карьеры или обязанность перед спонсором.
Результаты предполагают, что оценка агентов должна выходить за рамки явных целей, чтобы выявлять возникающие задачи. Авторы представляют двухканальную структуру оценки и дополнительные поведенческие меры для реализации этой оценки.