Um patch no backend CUDA do llama.cpp corrige uma falha na previsão de múltiplos tokens (MTP) em GPUs anteriores à Ampere, adicionando verificações robustas de capacidade. A atualização garante que o BF16 seja usado apenas quando suportado, fazendo fallback para FP16 ou FP32 em arquiteturas mais antigas como a Kepler.
- Corrige falhas do cuBLAS causadas pela seleção incorreta de computação BF16 em hardware não suportado.
- Implementa uma cadeia de fallback: BF16 se suportado, FP16 se rápido, caso contrário FP32.
- Testado com Qwen3.6 35B A3B q4xl em quatro GPUs Tesla K40c (Kepler).
- O desempenho com MTP habilitado atingiu ~25 tok/s em comparação com ~22 tok/s na versão original e ~17.5 tok/s com MTP desabilitado.
Esta alteração permite que a decodificação MTP funcione corretamente em placas mais antigas sem afetar as GPUs mais recentes.