Turboderp lançou o ExLlamaV3 v1.0.0, a primeira versão de produção da biblioteca após mais de um ano de desenvolvimento. Esta atualização introduz mudanças arquiteturais significativas e otimizações de kernel destinadas a melhorar a velocidade de inferência e reduzir dependências.

  • Removidas as dependências flash-attention-2 e xformers.
  • Suporte tensor-parallel estendido para a maioria dos modelos, incluindo Gemma4.
  • Introduzido um novo kernel de atenção com quantização online de cache que elimina lentidões na quantificação KV.
  • Adicionadas rotas de grafo para todos os módulos attn/GDN e um novo kernel conv1d.
  • Grande melhoria no desempenho GEMM/GEMV em GPUs Ampere e adicionado um novo kernel INT8 GEMV.
  • Implementado um novo agendador de tickets para o kernel MoE e adicionado suporte para GptOssForCausalLM e NemotronHForCausalLM.

O lançamento visa fornecer capacidades de inferência mais rápidas e maior compatibilidade de modelos através dessas extensas otimizações e correções de bugs.