Turboderp ha lanzado ExLlamaV3 v1.0.0, la primera versión de producción de la biblioteca después de más de un año de desarrollo. Esta actualización introduce cambios arquitectónicos significativos y optimizaciones del kernel destinadas a mejorar la velocidad de inferencia y reducir las dependencias.
- Eliminadas las dependencias flash-attention-2 y xformers.
- Soporte tensor-parallel extendido a la mayoría de los modelos, incluyendo Gemma4.
- Introducido un nuevo kernel de atención con cuantización en línea del caché que elimina los retrasos por cuantificación KV.
- Añadidas rutas de grafo para todos los módulos attn/GDN y un nuevo kernel conv1d.
- Gran mejora del rendimiento GEMM/GEMV en GPUs Ampere y añadido un nuevo kernel INT8 GEMV.
- Implementado un nuevo programador de tickets para el kernel MoE y añadida la compatibilidad con GptOssForCausalLM y NemotronHForCausalLM.
El lanzamiento tiene como objetivo proporcionar capacidades de inferencia más rápidas y una mayor compatibilidad de modelos a través de estas extensas optimizaciones y correcciones de errores.