github llama.cpp · há 1 h · inference

Lançamento b10926 do llama.cpp lida com quants tq1_0 não suportados de forma elegante

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10926, que inclui uma correção para lidar com quantizações tq1_0 não suportadas falhando de forma elegante. Esta atualização resolve o problema #28681 para melhorar a estabilidade ao encontrar este formato de quantização específico.

O lançamento fornece binários para macOS (Apple Silicon e Intel), Linux (Ubuntu com backends CPU, Vulkan, ROCm 10.0, OpenVINO e SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 10.0) e arquiteturas openEuler.

Esta atualização garante que os usuários possam continuar usando o llama.cpp sem travamentos quando os modelos utilizam o esquema de quantização tq1_0.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10921 alinha as vinculações de tensores do WebGPU ao tamanho do bloco

O projeto llama.cpp lançou a compilação b10921, que inclui uma correção para o WebGPU alinhando as vinculações de tensores ao tamanho do bloco do tipo. Essa alteração garante que as visualizações quantizadas por bloco recebam um deslocamento de elemento válido no shader, percorrendo o deslocamento da vinculação para trás até que a distância ao tensor seja um número inteiro de blocos.

github llama.cpp · há 1 d · 1 visualização

llama.cpp b10906 corrige especulação após imagem no servidor

O projeto llama.cpp lançou a versão b10906, que inclui uma correção para o componente do servidor referente à decodificação especulativa após entradas de imagem. A alteração garante que a posição real seja passada ao redator em vez da contagem de tokens, afetando todos os redatores e não apenas o DFlash.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10899 adiciona otimizações do Vulkan para Qwen e suporte split_k

O projeto llama.cpp lançou a versão b10899, introduzindo melhorias específicas de desempenho em seu backend Vulkan. A atualização foca na otimização de operações matriciais para a família de modelos Qwen e no aprimoramento do desempenho geral com M pequeno.

github llama.cpp · há 2 d · 4 visualizações

llama.cpp b10896 corrige falha de decodificação do DFlash com modelos de visão

O projeto llama.cpp lançou a compilação b10896, que aborda um problema crítico onde a memória do redator falhava ao alocar novos tokens ao usar DFlash com modelos de visão. Essa falha ocorreu porque as imagens relatavam um deslocamento fixo, impedindo a alocação adequada de tokens.

github llama.cpp · há 4 d · 2 visualizações

llama.cpp desativa o carregamento preguiçoso de tensores por padrão em GPUs integradas

O projeto llama.cpp desativou o carregamento preguiçoso de tensores por padrão para GPUs integradas (iGPUs) na versão b10867. Esta alteração corrige uma regressão introduzida na configuração anterior do modo "AUTO".