github llama.cpp · há 3 d · inference

llama.cpp b10831 adiciona suporte a Vulkan TQ1_0 e corrige fallback do Metal

Traduzido do English → Português (BR)

O lançamento llama.cpp b10831 introduz suporte à quantização TQ1_0 para o backend Vulkan, permitindo operações como multiplicação de matrizes, mat-vec, desquantização e get_rows. Esta atualização também corrige o backend Metal para recusar adequadamente as operações TQ1_0 não suportadas, garantindo que elas retornem à execução na CPU.

A implementação do Vulkan agrupa potências de 3 do TQ1_0 em uma constante de 32 bits para evitar problemas de registrador.
Auxiliares compartilhados de decodificação em types.glsl substituem a lógica duplicada em vários arquivos de shader.
Um bug no cálculo do denominador do workgroup do shader standalone de desquantização foi corrigido.
O backend Metal agora rejeita TQ1_0 para GET_ROWS e mat-mul, correspondendo ao tratamento existente do NVFP4.
Casos de teste foram reduzidos e os comentários padronizados para ASCII.

As alterações do Vulkan foram verificadas na AMD gfx1151 com todas as operações relevantes do backend passando nos testes.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Artigos relacionados

github llama.cpp · há 2 d · 2 visualizações

llama.cpp desativa o carregamento preguiçoso de tensores por padrão em GPUs integradas

O projeto llama.cpp desativou o carregamento preguiçoso de tensores por padrão para GPUs integradas (iGPUs) na versão b10867. Esta alteração corrige uma regressão introduzida na configuração anterior do modo "AUTO".

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10864 corrige a evicção de checkpoints para modelos híbridos

O projeto llama.cpp lançou a compilação b10864, que inclui uma correção para a lógica de evicção de espaçamento de checkpoints em `create_checkpoint()`. Anteriormente, a regra de evicção mantinha o checkpoint mais antigo e apagava os subsequentes dentro de `checkpoint_min_step`, fazendo com que prompts mais curtos que esse limite perdessem o checkpoint necessário para a retomada. Isso forçava modelos híbridos e recorrentes a reprefijar desnecessariamente a partir do checkpoint anterior.

github llama.cpp · há 3 d · 6 visualizações

llama.cpp b10844 adiciona operações fundidas de hiperconexão Vulkan para DeepSeek-V4

O projeto llama.cpp lançou a versão b10844, introduzindo suporte para operações fundidas de hiperconexão DeepSeek-V4 (DSV4_HC_COMB/PRE/POST) no backend Vulkan. Esta atualização traz o Vulkan ao mesmo nível que CUDA e Metal em relação a essas otimizações específicas.

github llama.cpp · há 3 d · 4 visualizações

llama.cpp b10842 adiciona suporte HIP para gfx90c

O projeto llama.cpp lançou a compilação b10842, que introduz suporte para a arquitetura gfx90c via HIP.

media Hugging Face Forums · há 3 d · 8 visualizações

AI Model Radar é lançado com ajuste de hardware medido para modelos abertos

Um novo site chamado AI Model Radar ajuda os usuários a determinar quais modelos abertos realmente se encaixam em sua GPU ou Mac usando dados medidos em vez de estimativas. A plataforma calcula os tamanhos de pesos com base em arquivos GGUF publicados reais e computa o cache de contexto camada por camada a partir das configurações do modelo.