독립 연구 프로젝트 LIMEN은 7개의 오픈소스 Transformer 모델의 내부 역학을 분석하여 의미적 모호성이 궤적 기하학을 변경하고 아키텍처 전반에 걸쳐 보편적인 동적 문법을 발견했습니다.

  • 모호성은 궤적 곡률과 코사인 유사성을 상당히 수정하지만 글로벌 카오스를 증가시키지 않습니다. 대신 Phi-1.5 및 Llama-3.2와 같은 현대 모델은 의사 결정 관여를 지연시킵니다.
  • 모든 테스트된 모델에서 7개의 전이 모티프가 있는 보편적 문법이 식별되었으며, 탐색(B) → 안정화/처리(A) → 의사 결정(D) 스키마를 따릅니다.
  • 상태 A는 약 0.91의 자기 전이 확률을 가진 강한 끌개 역할을 하며, Phi-1.5는 그 깊이를 통해 독특한 B↔A 진동을 유지합니다.

이러한 발견은 Transformer 지능이 제한된 기하학적 탐색에 의존함을 시사하며, 이 문법을 위반하는 것이 환각을 나타낼 수 있고 더 정밀한 동적 조정을 가능하게 함을 의미합니다.