Tutorial da NVIDIA demonstra programação de GPU baseada em tiles com cuTile e Triton

Um novo tutorial explora o framework TileGym da NVIDIA criando um fluxo de trabalho prático no Colab que se adapta a diferentes condições de hardware. O guia investiga o ambiente CUDA para determinar se o NVIDIA cuTile pode ser executado diretamente, caindo para o Triton quando as GPUs padrão do Colab não possuem a pilha necessária.

• O modelo de programação baseado em tiles opera sobre blocos inteiros de dados em vez de threads individuais, carregando-os no kernel para computação eficiente.
• O tutorial implementa adição de vetores, GELU fundido, softmax por linha, multiplicação de matrizes com tiles e flash attention usando primitivas do cuTile e do Triton.
• Cada implementação é comparada com o PyTorch quanto à correção e avaliada em benchmarks de desempenho.

O recurso serve como um guia prático para entender conceitos de programação baseada em tiles em diferentes capacidades de GPU.