Carles Marinは、Transformerアーキテクチャの数学的基盤とその実装を結びつける、オープンソースのバイリンガル（英語およびスペイン語）ガイドをリリースしました。このリソースは低レベルのメカニクスに焦点を当て、複雑なトピックを説明するために再現可能なコードとインタラクティブな要素を提供しています。

  • アテンションダイナミクス：アテンションの崩壊に関するゼロからの実装と分析をカバーします。
  • コンテキストとメモリ：KVキャッシュ圧縮技術と長いコンテキストウィンドウに関連する課題を探ります。
  • 高度な概念：grokking、最適化戦略、構造的分析の説明を含みます。
  • インタラクティブツール：理論的説明とともにブラウザベースのLLMテスト用のTAF Agentフレームワークを搭載しています。

このガイドはTransformerの内部を理解するための包括的な教育リソースとして機能することを目指しており、著者はアテンション状態の可視化と最適化技術についてコミュニティからのフィードバックを歓迎しています。