Carles Marin lançou um guia open-source, bilíngue (inglês e espanhol), que conecta as bases matemáticas das arquiteturas Transformer com sua implementação prática. O recurso foca em mecânicas de baixo nível, fornecendo código reproduzível e elementos interativos para explicar tópicos complexos.
- Dinâmica de Atenção: Cobre implementações do zero e análise do colapso da atenção.
- Contexto e Memória: Explora técnicas de compressão de KV-cache e desafios relacionados a janelas de contexto longo.
- Conceitos Avançados: Inclui explicações sobre grokking, estratégias de otimização e análise estrutural.
- Ferramentas Interativas: Apresenta o framework TAF Agent para teste de LLMs baseado em navegador junto com explicações teóricas.
O guia visa servir como um recurso educacional abrangente para entender os internals dos Transformers, com o autor convidando feedback da comunidade sobre visualização do estado de atenção e técnicas de otimização.