Turboderp выпустил ExLlamaV3 v1.0.0, первую производственную версию библиотеки после более чем года разработки. Это обновление вносит существенные архитектурные изменения и оптимизации ядра, направленные на повышение скорости вывода и уменьшение зависимостей.
- Удалены зависимости flash-attention-2 и xformers.
- Расширена поддержка tensor-parallel для большинства моделей, включая Gemma4.
- Введено новое ядро внимания с онлайн-квантованием кэша, устраняющее замедления из-за квантования KV.
- Добавлены графовые пути для всех модулей attn/GDN и новое ядро conv1d.
- Значительно улучшена производительность GEMM/GEMV на GPU Ampere и добавлено новое ядро INT8 GEMV.
- Реализован новый планировщик задач для ядра MoE и добавлена поддержка GptOssForCausalLM и NemotronHForCausalLM.
Выпуск направлен на обеспечение более быстрой работы вывода и более широкой совместимости моделей благодаря этим обширным оптимизациям и исправлениям ошибок.