Turboderp a publié ExLlamaV3 v1.0.0, la première version de production de la bibliothèque après plus d'un an de développement. Cette mise à jour introduit des changements architecturaux significatifs et des optimisations de noyau visant à améliorer la vitesse d'inférence et à réduire les dépendances.
- Suppression des dépendances flash-attention-2 et xformers.
- Extension du support tensor-parallel à la plupart des modèles, y compris Gemma4.
- Introduction d'un nouveau noyau d'attention avec quantification de cache en ligne qui élimine les ralentissements de la quantification KV.
- Ajout de chemins de graphe pour tous les modules attn/GDN et d'un nouveau noyau conv1d.
- Amélioration considérable des performances GEMM/GEMV sur les GPU Ampere et ajout d'un nouveau noyau INT8 GEMV.
- Implémentation d'un nouvel ordonnanceur de tickets pour le noyau MoE et ajout du support pour GptOssForCausalLM et NemotronHForCausalLM.
La version vise à fournir des capacités d'inférence plus rapides et une compatibilité élargie avec les modèles grâce à ces optimisations étendues et corrections de bugs.