github llama.cpp · há 2 h · inference

llama.cpp b10517 adiciona otimizações de desquantização FA para Vulkan e correções

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10517, introduzindo várias melhorias específicas para Vulkan no caminho de desquantização do flash attention (FA). As principais alterações incluem desquantizar q8_0 KV uma vez em coopmat1, pular o caminho de desquantização FA no coopmat2 e excluir Intel Xe1 do caminho de desquantização FA.

O Vulkan agora faz fallback em vez de abortar quando o scratch do FA excede maxStorageBufferRange.
A versão requer um layout específico de KV-cache no caminho de desquantização FA.
Verificações de permutação para o caminho FA foram ajustadas e o tempo de prealloc_x_need_sync foi corrigido.
Foram adicionados testes para cenários K/V FA com alocação contígua.

Esta atualização melhora a estabilidade e o desempenho para usuários do Vulkan ao abordar casos extremos no gerenciamento de memória e compatibilidade de hardware.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency Local inference

Ler original

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 29 d · 26 visualizações

llama.cpp b10089 adiciona suporte completo a k-quant e i-quant para CUDA GET_ROWS

O lançamento llama.cpp b10089 estende as operações CUDA GET_ROWS para suportar formatos de quantização k-quants, i-quants e mxfp4. Esta alteração garante que todos os tipos GGML quantizados agora podem seguir o caminho direto do dispositivo para buscas de embedding.

media r/LocalLLaMA · há 7 h · 2 visualizações

Modelo MoE G9v3-39A5B mostra resultados fortes no artificialanalysis

O modelo G9v3-39A5B está chamando a atenção por seu desempenho no artificialanalysis, onde reportedly fica acima do Qwen 3.6 27B.

media Hugging Face Forums · há 7 h · 1 visualização

Pipeline da Celestium permite SDXL em GPUs de 4GB-8GB via FP16 adaptativo e fallback para CPU

Um diagnóstico usando o pipeline de inferência agnóstico a hardware da Celestium demonstra que o Stable Diffusion XL pode rodar de forma estável em GPUs com pouca VRAM (4GB, 6GB e 8GB) ao aproveitar precisão FP16 adaptativa e limpeza autônoma de memória. A abordagem evita picos de fragmentação durante pipelines multiestágio e utiliza um modo de emergência na CPU para manter a geração quando a VRAM da GPU se esgota.

github llama.cpp · há 12 h · 1 visualização

llama.cpp b10509 adiciona suporte a ggml_rope_set_offset para Metal, CUDA e Vulkan

O projeto llama.cpp lançou a compilação b10509, que introduz suporte para a função `ggml_rope_set_offset` em vários backends de hardware. Esta atualização inclui implementações de CPU, Metal, CUDA e Vulkan para a nova operação.