Это исследование examines, как большие языковые модели справляются с конкурирующими требованиями строгих лексических ограничений и коммуникативной эффективности, играя в игру «Табу». Исследователи оценили две модели с открытым весом в условиях, которые вмешиваются на все более глубоких уровнях процесса генерации, от промптинга до манипуляций внутренними представлениями.

  • Выводы оценивались через обнаружение нарушений запрещенных слов и метрики LLM-as-a-judge, измеряющие, насколько хорошо описания вызывают целевую концепцию для человеческих и машинных угадывающих.
  • Анализ сравнивал стратегии, принятые моделями при ограничениях, с теми, что используются игроками-людьми.
  • Результаты указывают, что соблюдение правил и коммуникативная эффективность компромиссно распределяются по-разному в зависимости от условий.

Выводы предполагают, что лексическое заземление под ограничениями остается открытой проблемой, поскольку модели остаются существенно слабее людей в этой задаче.