media r/LocalLLaMA · há 1 h · open_models

ExLlamaV3 adiciona descarregamento para CPU para especialistas MoE e novos modelos GLM-5.3-Flash, Qwen3.8-Flash

Traduzido do English → Português (BR)

Turboderp lançou atualizações significativas para o ExLlamaV3, introduzindo capacidades de descarregamento para CPU para especialistas de Mixture of Experts (MoE). A atualização também inclui suporte para os novos modelos GLM-5.3-Flash e Qwen3.8-Flash.

Implementação de descarregamento para CPU especificamente para especialistas MoE.
Suporte ao Qwen-3.8-Flash-Next com capacidades de descarregamento de ngram para disco.
Integração do GLM-5.3-Flash via formato exl3.
Introdução de uma nova técnica de otimização auto-calibrada.
Várias outras otimizações e melhorias no mecanismo.

Essas atualizações expandem a flexibilidade de hardware e a compatibilidade de modelos do ExLlamaV3, permitindo que os usuários aproveitem os recursos da CPU para componentes específicos do modelo.

Importância 2/3 Novo ambiente de avaliação com diferenciais r/LocalLLaMA Inference efficiency Local inference

Ler original

llama.cpp b10724 otimiza a restauração do estado kv-cache para reduzir cópias de 1.3M para 224

O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.

github llama.cpp · há 16 h · 3 visualizações

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.

github llama.cpp · há 18 h · 9 visualizações

llama.cpp b10718 estende a fusão MOE para specdec e multi-token

O projeto llama.cpp lançou a versão b10718, que inclui uma atualização significativa em seu backend CUDA. A mudança mais notável é a extensão da fusão Mixture of Experts (MOE) para suportar decodificação especulativa (specdec), abordando limitações anteriores onde a fusão MOE glu e topk-router era restrita a processar apenas um token por vez.

github llama.cpp · há 21 h · 4 visualizações

llama.cpp b10715 funde o codificador DFlash na injeção de cache KV

O projeto llama.cpp lançou a compilação b10715, que inclui uma otimização-chave na implementação do DFlash. O codificador DFlash agora é fundido diretamente no processo de injeção do cache KV durante a decodificação.

github llama.cpp · há 23 h · 2 visualizações

llama.cpp b10714 ajusta linhas de mat-vec do Vulkan para Strix Halo

O projeto llama.cpp lançou a compilação b10714, que inclui otimizações específicas para o backend do Vulkan direcionado ao hardware AMD Strix Halo. A atualização ajusta as contagens de linhas de multiplicação de matriz por vetor para melhorar o desempenho durante a inferência em lote.