一项探索性研究表明,尽管大型语言模型对两者使用相同的下一个令牌预测机制,但它们表现出语言生产和感知之间的功能不对称。通过直接测量令牌概率而不是依赖元语言提示,研究人员发现仅提示框架就会在仅解码器架构中诱导不同的概率分布。
- 使用基础 Llama-3.1-8B 模型,该研究在生产提示下生成诗歌,并在感知导向提示下重新评分。
- 生产与感知之间的距离始终超过生产与生产之间的距离,总体平均比率约为 1.8。
- 该效应在五个开源权重模型中复制:Llama-3.1-8B、EuroLLM-9B、gemma-2-9b-it、Mistral-7B-Instruct-v0.3 和 Qwen2.5-7B-Instruct。
- 时间分析显示,感知提示的影响在序列开始时最强,随着生成上下文的积累,分歧逐渐衰减。
这些发现表明,交际框架显著影响 LLM 处理信息的方式,区分了生成文本和评估文本。