理解大型语言模型：涌现能力与认知争论

本章通过考察大型语言模型（LLM）的机制、涌现能力及其与人类认知关系的争议，概述了当前对大型语言模型的理解。它强调了Transformer架构的注意力机制如何使LLM能够作为在海量数据集上训练的通用模型运行。

• 本文回顾了证据，表明LLM表现出类似于人类认知的涌现能力，如符号推理、心智理论和欺骗策略。
• 研究既突出了在解决复杂任务方面的成功案例，也揭示了揭示人类与LLM认知差异的失败案例。
• 讨论了可解释AI方法，包括神经元激活分析和电路追踪。
• 作者反对将LLM行为简单归因于模式记忆的简化还原论观点，主张对AI认知进行细致的讨论。

作者认为，仅基于简单的训练目标就否定LLM的理解能力，源于对优化过程的误解。他们提出了一种平衡的观点，既承认人类与LLM之间的差异，又允许存在真正的AI认知的可能性。