Carles Marin ha lanzado una guía de código abierto y bilingüe (inglés y español) que conecta los fundamentos matemáticos de las arquitecturas Transformer con su implementación práctica. El recurso se centra en la mecánica de bajo nivel, proporcionando código reproducible y elementos interactivos para explicar temas complejos.
- Dinámica de Atención: Cubre implementaciones desde cero y análisis del colapso de atención.
- Contexto y Memoria: Explora técnicas de compresión de KV-cache y desafíos relacionados con ventanas de contexto largas.
- Conceptos Avanzados: Incluye explicaciones de grokking, estrategias de optimización y análisis estructural.
- Herramientas Interactivas: Presenta el marco TAF Agent para pruebas de LLM basadas en navegador junto con explicaciones teóricas.
La guía tiene como objetivo servir como un recurso educativo completo para comprender los detalles internos de Transformers, con el autor invitando a la comunidad a proporcionar comentarios sobre la visualización del estado de atención y las técnicas de optimización.