Разведочное исследование демонстрирует, что большие языковые модели проявляют функциональную асимметрию между производством языка и его восприятием, несмотря на использование одного и того же механизма предсказания следующего токена для обеих задач. Измеряя вероятности токенов напрямую, а не полагаясь на метаязыковое промптирование, исследователи обнаружили, что сама формулировка промпта вызывает различные распределения вероятностей в архитектурах только с декодером.
- Используя базовую модель Llama-3.1-8B, исследование генерировало стихи под промптами на производство и заново оценивало их под промптами, ориентированными на восприятие.
- Расстояния между производством и восприятием последовательно превышали расстояния между двумя производствами, со средним соотношением около 1.8.
- Эффект воспроизвелся на пяти моделях с открытым весом: Llama-3.1-8B, EuroLLM-9B, gemma-2-9b-it, Mistral-7B-Instruct-v0.3 и Qwen2.5-7B-Instruct.
- Временной анализ показал, что влияние промпта восприятия наиболее сильно в начале последовательности, а расхождение затухает по мере накопления сгенерированного контекста.
Эти выводы предполагают, что коммуникативная рамка значительно влияет на то, как LLM обрабатывают информацию, проводя различие между генерацией текста и его оценкой.