大規模言語モデルの理解：突発的機能と認知に関する議論

本章では、そのメカニズム、突発的機能、および人間認知との関係をめぐる議論を検証することで、大規模言語モデル（LLMs）の現在の理解を概説する。それは、Transformer アーキテクチャの注意機構が、巨大なデータセットで学習した汎用モデルとして LLMs が機能することを可能にする方法を強調している。

• 本稿は、LLMs が記号推論、心の理論、および欺瞞戦略など、人間認知に似た突発的機能を発揮するという証拠をレビューする。
• 研究は、複雑なタスクの解決における成功事例と、人間と LLMs の認知の違いを浮き彫りにする失敗事例の両方を強調している。
• ニューロン活性化分析や回路追跡など、説明可能な AI のアプローチが議論される。
• 著者らは、LLM の行動を単なるパターン記憶に帰する単純な還元論的見解に反対し、AI 認知に関する精緻な議論を提唱する。

著者らは、単純な学習目標に基づいて LLM の理解を否定することは、最適化プロセスに関する誤解に起因すると主張する。彼らは、人間と LLMs の違いを認めつつ、本物の AI 認知の可能性を許容するバランスの取れた見解を提案している。