Este artículo demuestra cómo perfiles los mecanismos de atención en PyTorch utilizando las trazas del perfilador para identificar cuellos de botella de rendimiento y oportunidades de optimización. Compara implementaciones ingenuas de atención frente a la Atención de Producto Punto Escalada (SDPA) integrada de PyTorch para ilustrar el comportamiento del kernel.
- La atención causal ingenua implica múltiples kernels, incluyendo matmul, escalado, enmascaramiento, softmax y una copia de memoria inesperada causada por operaciones fuera de lugar.
- Reemplazar masked_fill con masked_fill_ in situ elimina el kernel de copia de memoria innecesario de la traza de la GPU.
- La función SDPA de PyTorch despacha automáticamente al backend más rápido disponible (como Flash Attention o cuDNN) según los tipos de entrada y el hardware.
- El perfilado de backends individuales de SDPA revela firmas de kernel distintas, permitiendo a los desarrolladores verificar qué implementación está activa.
Entender estas trazas del perfilador ayuda a los usuarios a optimizar modelos de transformadores eliminando operaciones de memoria redundantes y aprovechando los backends de atención eficientes de PyTorch.