github llama.cpp · agora mesmo · inference

llama.cpp b10891 corrige falha no Vulkan do PowerVR ao recuar para redução por memória compartilhada

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10891, que aborda um problema crítico de estabilidade em GPUs PowerVR. A atualização modifica o backend Vulkan para recuar à redução por memória compartilhada nas operações de multiplicação de matriz por vetor desquantizada (dmmv).

A alteração resolve uma falha causada pelo compilador proprietário Vulkan da Imagination ao retornar VK_ERROR_UNKNOWN ao criar pipelines de computação com reduções apenas por subgrupo.
Esta correção aplica-se aos formatos de quantização k-quants, i-quants, TQ2_0, MXFP4 e NVFP4 que anteriormente falhavam em dispositivos como o Pixel 11 Pro.
A variante de redução por memória compartilhada compila com sucesso e corresponde aos resultados de referência da CPU para as quantizações q2_K a q6_K.
Uma variante híbrida também está disponível, mas impõe uma penalidade significativa de desempenho, reduzindo a taxa de tokens processados para 27% da taxa padrão.

Esta atualização garante que modelos que utilizam esses formatos específicos de quantização possam ser executados em hardware PowerVR sem falhar durante a fase inicial de geração de tokens.

Importância 1/3 Confiança 1/3 llama.cpp Hardware & chips Inference efficiency

Artigos relacionados

github llama.cpp · há 3 d · 12 visualizações

llama.cpp b10839 corrige falhas de alinhamento em GET_ROWS do Vulkan

O projeto llama.cpp lançou a versão b10839, que resolve falhas graves no backend Vulkan causadas por deslocamentos desalinhados durante operações de recuperação de linhas de tensores. Anteriormente, modelos como Qwen3-TTS e Qwen3-VL falhavam ao usar `ggml_view` com deslocamentos de visualização não nulos porque o shader gerava asserções em violações de alinhamento em relação a `minStorageBufferOffsetAlignment`. Esta atualização implementa suporte nativo para deslocamentos alinhados nos caminhos quantizados e não quantizados, eliminando a necessidade de fallbacks na CPU.

arxiv arXiv cs.LG · há 6 d · 10 visualizações

FlashAttention-4 introduz Direct-P para inferência e treinamento de FP4 com consciência de hardware

O FlashAttention-4 aborda as limitações de desempenho dos núcleos de tensores de ponto flutuante de 4 bits (FP4) do Blackwell, introduzindo novos caminhos para inferência não causal e treinamento causal. O método, chamado Direct-P, mapeia escores diretamente para probabilidades FP4 para contornar os custos de conversão de softmax que normalmente dominam quando os produtos matriciais diminuem.

lab NVIDIA Research · há 12 d · 14 visualizações

Twill deriva automaticamente cronogramas ótimos de software pipelining e especialização de warp para GPUs com Tensor Cores

Pesquisadores apresentaram o Twill, um sistema que formula o software pipelining (SWP) e a especialização de warp (WS) como um problema de otimização conjunta solucionável por solucionadores de restrições prontos para uso. Essa abordagem automatiza a derivação de cronogramas ótimos de execução para programas iterativos em arquiteturas GPU.

github llama.cpp · há 13 d · 26 visualizações

llama.cpp b10675 adiciona suporte a hoisting para IDs de linha e contagem de especialistas em shaders

O projeto llama.cpp lançou a versão b10675, que inclui uma atualização chave para seu backend Vulkan. Este lançamento adiciona suporte a hoisting para IDs de linha e contagens de especialistas dentro do código do shader.

github llama.cpp · há 13 d · 12 visualizações

llama.cpp adiciona ajustes fa-vec para Apple M4 Pro

O projeto llama.cpp adicionou ajustes de vetor de atenção rápida (fa-vec) para a GPU Apple M4 Pro por meio de uma nova contribuição ao backend Metal. Esta atualização segue o trabalho anterior para suportar GPUs adicionais da Apple e foi gerada usando a ferramenta `ggml-metal-tuning` em um MacBook Pro de 14 polegadas de novembro de 2024.