研究者らは、ソフトウェアパイプライン（SWP）とワープ専門化（WS）を、市製の制約ソルバーで解ける結合最適化問題として定式化するシステム「Twill」を導入しました。このアプローチは、GPU アーキテクチャ上の反復プログラムに対する最適な実行スケジューリングの導出を自動化します。

  • Twill はヒューリスティックを使用せず、広範なクラスの反復プログラムに対して最適なスケジューリングを生成することが保証されています。
  • このシステムは、Flash Attention 用に専門家が手動で開発した SWP および WS スケジューリングの最適性を再発見し、証明することができます。
  • 検証は NVIDIA Hopper と Blackwell の両 GPU アーキテクチャで行われました。

脆いコンパイルヒューリスティックや人間の直感を包括的な最適化に置き換えることで、Twill は複雑な現代の GPU における固定機能ユニットと汎用コアの最大限の利用を実現します。