github llama.cpp · há 2 h · inference

llama.cpp b10338 corrige falha no salvamento/carregamento de modelos MoE

Traduzido do English → Português (BR)

A versão b10338 do llama.cpp resolve um bug crítico no salvador de modelos que causava falhas no carregamento de modelos Mixture-of-Experts (MoE) com especialistas compartilhados após serem salvos. O problema decorria do salvador gravar incorretamente o valor `n_ff_chexp` na chave `LLM_KV_EXPERT_SHARED_FEED_FORWARD_LENGTH`, o que corrompia as informações corretas da forma do tensor.

A correção garante que a segunda chamada grave a chave correta `LLM_KV_EXPERT_CHUNK_FEED_FORWARD_LENGTH` em vez de sobrescrever o comprimento feed-forward compartilhado.
Isso resolve falhas de carregamento para arquiteturas com especialistas compartilhados, incluindo qwen2moe, qwen3-next, granite-moe, hunyuan-moe, ernie4.5, bailingmoe2 e nemotron-h.
A versão inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) e openEuler.

Esta correção garante que os ciclos de salvamento e carregamento para modelos MoE com especialistas compartilhados tenham sucesso sem incompatibilidades na forma do tensor.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Artigos relacionados

github llama.cpp · há 1 h Ao vivo

llama.cpp adiciona arquitetura Granite-Switch com roteador no gráfico para seleção de LoRA por token

O projeto llama.cpp introduz suporte à arquitetura Granite-Switch, uma variante de modelo denso que apresenta N adaptadores LoRA embutidos, selecionados por token por meio de tokens de controle. Esta implementação substitui um índice global "pegajoso" (sticky) anterior, baseado em prova de conceito, por um mecanismo de atenção "roteador" causal no gráfico para resolver os índices dos adaptadores.

lab Hugging Face Blog · há 3 h · 2 visualizações

Multiverse Computing reduz VRAM de destilação de conhecimento com perda KL em blocos fundidos

A Multiverse Computing apresenta uma abordagem eficiente em memória para a destilação de conhecimento de modelos de linguagem grandes, combinando o cache offline de top-K logits com uma perda de divergência Kullback-Leibler (KL) em blocos fundidos. Este método elimina a necessidade de manter os modelos professor e aluno na memória simultaneamente, reduzindo drasticamente os requisitos de VRAM.

github llama.cpp · há 5 h

Lançamento do llama.cpp b10336 com refatoração do ggml-webgpu

O projeto llama.cpp lançou a versão b10336, que inclui uma refatoração de vários arquivos wgsl e simplificação do flash_attn wgsl dentro do componente ggml-webgpu.

media Hugging Face Forums · há 1 d · 8 visualizações

vLLM Launcher oferece uma bancada de trabalho para inferência local de LLM no Windows

Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b10331 corrige get_info do servidor para relatar corretamente o diretório de trabalho isolado

O projeto llama.cpp lançou a compilação b10331, que inclui uma correção para o endpoint `get_info` do servidor. Anteriormente, quando nenhum diretório de trabalho atual explícito era fornecido, a função incorretamente recaía no diretório de trabalho do processo do servidor, mesmo se um tools runtime estivesse configurado.