Новая серия туториалов начинается с Части 1, которая закладывает теоретическую основу для FlashAttention с использованием современного алгебраического формализма. В статье демонстрируется, что FlashAttention является ассоциативной операцией, что позволяет рассматривать её как обычное редукционное вычисление на GPU.
- Безопасный softmax, дисперсия по Уэлфорду и FlashAttention идентифицированы как одна и та же тайно ассоциативная операция.
- Концепция скрученного моноида объясняет, почему связка max-rescale не нарушает ассоциативность.
- Формула qk_scale, выведенная в FA-2, показана происходящей из log2(e)/√D.
- Численный анализ охватывает границы переполнения и пределы ошибок, доказывая, что тайлинг никогда не усиливает ошибку.
- Теорема 3-го гомоморфизма Бёрда представлена как тест на секретную ассоциативность в циклах.
Эта алгебраическая интерпретация описывается как более мощная, чем первоначальное объяснение, и уже используется в недавних статьях MLSys и CVPR.