Carles Marin은 트랜스포머 아키텍처의 수학적 기초와 실제 구현을 연결하는 오픈소스 양국어(영어 및 스페인어) 가이드를 출시했습니다. 이 리소스는 저수준 메커니즘에 중점을 두고 복잡한 주제를 설명하기 위해 재현 가능한 코드와 상호작용 요소를 제공합니다.
- 어텐션 역학: 어텐션 붕괴에 대한 스래치 구현 및 분석을 다룹니다.
- 컨텍스트 및 메모리: KV 캐시 압축 기술과 긴 컨텍스트 윈도우 관련 도전을 탐구합니다.
- 고급 개념: 그로킹(grokking), 최적화 전략 및 구조적 분석에 대한 설명을 포함합니다.
- 상호작용 도구: 이론적 설명과 함께 브라우저 기반 LLM 테스트를 위한 TAF 에이전트 프레임워크를 제공합니다.
이 가이드는 트랜스포머 내부 메커니즘을 이해하기 위한 포괄적인 교육 자료로 제공되며, 저자는 어텐션 상태 시각화 및 최적화 기술에 대한 커뮤니티 피드백을 환영합니다.