Проект turboquant выпустил версию 0.3.0, которая включает патч из трех строк, исправляющий давнюю проблему с точностью в CUDA-коде llama.cpp, затрагивающую GPU Tesla P100.
- Исправление расширяет существующее исключение для архитектуры sm_61, чтобы включить sm_60 (Pascal P100), принуждая к использованию корректной математики fp16 вместо предыдущего ошибочного пути.
- Тестирование на Qwen3.6-27B показало улучшение медианного расхождения Кульбака-Лейблера с 0.0023 до 0.000001, а согласие по топ-токену выросло с 96.5% до 99.9%.
- Тесты производительности показывают увеличение скорости декодирования примерно на 1.4%, в то время как скорость префилла осталась идентичной в пределах шума.
- Патч проверен и не оказывает влияния на другие архитектуры, такие как Volta, Ampere или Blackwell, которые используют другие ядра.
Это обновление значительно улучшает точность и ценность Tesla P100 для локального вывода LLM, устраняя ошибку, которая ранее ухудшала качество вывода без предоставления преимуществ в производительности.