Carles Marin telah merilis panduan sumber terbuka, dwibahasa (Inggris dan Spanyol) yang menjembatani fondasi matematika arsitektur Transformer dengan implementasi praktisnya. Sumber daya ini berfokus pada mekanika tingkat rendah, menyediakan kode yang dapat direproduksi dan elemen interaktif untuk menjelaskan topik-topik kompleks.
- Dinamika Perhatian: Mencakup implementasi dari awal dan analisis runtuhnya perhatian.
- Konteks & Memori: Menjelajahi teknik kompresi KV-cache dan tantangan terkait jendela konteks panjang.
- Konsep Lanjutan: Termasuk penjelasan tentang grokking, strategi optimisasi, dan analisis struktural.
- Alat Interaktif: Memiliki kerangka kerja TAF Agent untuk pengujian LLM berbasis browser bersama penjelasan teoretis.
Panduan ini bertujuan untuk menjadi sumber pendidikan komprehensif bagi pemahaman internal Transformer, dengan penulis mengundang umpan balik komunitas tentang visualisasi keadaan perhatian dan teknik optimisasi.