Карлес Марин выпустил открытый двуязычный (английский и испанский) гид, который связывает математические основы архитектур Трансформеров с их практической реализацией. Ресурс фокусируется на низкоуровневой механике, предоставляя воспроизводимый код и интерактивные элементы для объяснения сложных тем.
- Динамика внимания: включает реализации с нуля и анализ коллапса внимания.
- Контекст и память: исследует техники сжатия KV-кэша и проблемы, связанные с длинными контекстными окнами.
- Продвинутые концепции: содержит объяснения гробкинга (grokking), стратегий оптимизации и структурного анализа.
- Интерактивные инструменты: включает фреймворк TAF Agent для тестирования LLM в браузере наряду с теоретическими объяснениями.
Гид призван служить комплексным образовательным ресурсом для понимания внутренних механизмов Трансформеров, при этом автор приглашает сообщество предоставить отзывы о визуализации состояний внимания и техниках оптимизации.