github llama.cpp · há 2 h · inference

llama.cpp b10737 corrige salvamento/restauração do estado qwen4exp e desativa -sm tensor

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10737, que corrige bugs críticos no suporte à arquitetura qwen4exp. A atualização resolve problemas com a persistência do estado da sequência e evita abortos de CUDA durante o carregamento do modelo.

Corrige o colapso NaN em kvu e restaura os dados do cache indexador ext.x/ext.y durante as operações de salvamento/restauração para modelos qwen4exp.
Corriga a derivação da contagem de linhas per_layer_token_embd e rejeita desreferências de ponteiro nulo nas camadas de cache recorrente PLE.
Desativa a flag -sm tensor para qwen4exp, que anteriormente causava logits NaN e falhas em dispositivos reais.
Renomeia seq_set para seq_get_all para resolver conflitos de sobrecarga de função e adiciona testes que verificam a integridade do estado.

Essas alterações garantem que os modelos qwen4exp possam ser carregados e salvos sem corrupção de dados ou erros de tempo de execução, especialmente ao usar conteúdo mrope 2D ou camadas PLE.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Artigos relacionados

github llama.cpp · agora mesmo · 1 visualização Ao vivo

llama.cpp b10738 adiciona limite de memória fixada ao host para SYCL

O projeto llama.cpp lançou a versão b10738, fornecendo binários para macOS, Linux, Windows, Android e openEuler em CPU, GPU e vários backends de aceleradores.

lab Hugging Face Blog · agora mesmo · 1 visualização Ao vivo

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 10 h · 1 visualização

llama.cpp b10730 otimiza o processamento de prompts do Qwen4exp somando cabeças do indexador por fatias

O projeto llama.cpp lançou a compilação b10730, que inclui otimizações para a arquitetura do modelo Qwen4exp. A principal alteração envolve somar as cabeças do indexador por fatias em vez de usar uma operação de transposição e sum_rows, reduzindo a sobrecarga de cópia de memória.

github llama.cpp · há 19 h · 3 visualizações

llama.cpp b10727 adiciona suporte a concat para tipos quantizados

O projeto llama.cpp lançou a compilação b10727, que introduz suporte à concatenação para tipos de dados quantizados. Esta atualização é assistida pelo DeepSeek-V4-Flash-0731 e inclui binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm e Vulkan.

github llama.cpp · há 21 h · 6 visualizações

llama.cpp b10726 acelera o processamento de prompts de modelos IQ em grandes lotes com AVX2

O projeto llama.cpp lançou a versão b10726, que introduz otimizações significativas de desempenho para processar tamanhos de lote grandes em modelos quantizados IQ. A atualização principal aproveita as instruções AVX2 para acelerar os quants IQ de grade por meio de operações GEMM em lote.