新教程通过构建适应不同硬件条件的实用 Colab 工作流，探索了 NVIDIA 的 TileGym 框架。该指南探测 CUDA 环境以确定 NVIDIA cuTile 是否可以运行，当标准 Colab GPU 缺乏所需堆栈时回退到 Triton。

  • 核心 tile 编程模型操作整个数据 tile 而非单个线程，将它们加载到内核中以进行高效计算。
  • 教程使用 cuTile 和 Triton 原语实现了向量加法、融合 GELU、逐行 softmax、分块矩阵乘法和 flash attention。
  • 每种实现都与 PyTorch 进行了正确性比较，并进行了性能基准测试。

该资源作为理解不同 GPU 能力上基于 tile 编程概念的实用指南。