이 장은 거대한 데이터셋으로 학습된 범용 모델로서 LLMs가 작동할 수 있게 하는 Transformer 아키텍처의 어텐션 메커니즘이 어떻게 작용하는지를 강조하며, 그 메커니즘, 돌발적 능력, 그리고 인간 인지와의 관계에 대한 논의를 검토함으로써 대규모 언어 모델(LLMs)에 대한 현재의 이해를 개관한다.

  • 본 문서는 기호 추론, 마음의 이론, 그리고 기만 전략 등 인간 인지처럼 보이는 LLMs의 돌발적 능력을 보여주는 증거를 검토한다.
  • 연구들은 복잡한 작업을 해결하는 성공 사례와 인간과 LLMs 간 인지 차이를 드러내는 실패 사례 모두를 강조한다.
  • 뉴런 활성화 분석 및 회로 추적 등을 포함한 설명 가능한 AI 접근 방식이 논의된다.
  • 저자들은 LLM의 행동을 단순한 패턴 암기로만 돌리는 단순한 환원론적 관점에 반대하며, AI 인지에 대한 미묘한 논의를 옹호한다.

저자들은 단순한 학습 목표를 근거로 LLM의 이해를 거부하는 것은 최적화 과정에 대한 오해에서 비롯된 것이라고 주장한다. 그들은 인간과 LLMs 간 차이를 인정하면서도 진정한 AI 인지의 가능성을 허용하는 균형 잡힌 관점을 제안한다.