Патч к CUDA-бэкенду llama.cpp устраняет сбой при многозадачном предсказании токенов (MTP) на видеокартах до Ampere за счет добавления надежных проверок возможностей. Обновление гарантирует, что BF16 используется только при поддержке, а для более старых архитектур, таких как Kepler, происходит переход на FP16 или FP32.
- Исправлены сбои cuBLAS, вызванные неправильным выбором вычислений BF16 на неподдерживаемом оборудовании.
- Реализована цепочка резервирования: BF16, если поддерживается; FP16, если быстро; в противном случае FP32.
- Тестирование проводилось с Qwen3.6 35B A3B q4xl на четырех видеокартах Tesla K40c (Kepler).
- Производительность MTP достигла ~25 tok/s по сравнению со ~22 tok/s в базовой версии и ~17.5 tok/s при отключенном MTP.
Это изменение позволяет декодированию MTP корректно работать на старых картах, не влияя на новые GPU.