Sebuah tutorial baru mengeksplorasi framework TileGym dari NVIDIA dengan membangun alur kerja Colab praktis yang beradaptasi terhadap berbagai kondisi perangkat keras. Panduan ini memeriksa lingkungan CUDA untuk menentukan apakah NVIDIA cuTile dapat berjalan langsung, dengan fallback ke Triton ketika GPU Colab standar tidak memiliki stack yang diperlukan.
- Model pemrograman tile inti beroperasi pada seluruh data tile daripada thread individu, memuatnya ke dalam kernel untuk komputasi yang efisien.
- Tutorial mengimplementasikan penjumlahan vektor, GELU fusi, softmax per baris, perkalian matriks bertile, dan flash attention menggunakan primitif cuTile dan Triton.
- Setiap implementasi dibandingkan dengan PyTorch untuk kebenaran dan diukur performanya.
Sumber daya ini berfungsi sebagai panduan praktis untuk memahami konsep pemrograman berbasis tile di berbagai kemampuan GPU.