github llama.cpp · agora mesmo · inference

llama.cpp b10739 adiciona ajuste fa-vec para M2 Max

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10739, que inclui uma otimização de desempenho específica para o hardware Apple M2 Max. Esta atualização introduz o ajuste de vetores de atenção rápida (fa-vec) adaptado aos 30 núcleos GPU do M2 Max.

Adicionadas linhas de ajuste fa-vec para M2 Max coletadas com ggml-metal-tuning em dtypes f16 e q8_0.
Fornecidos binários para macOS Apple Silicon, Macs Intel, iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows (CPU, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.

Este lançamento garante um desempenho de inferência otimizado no mais recente Apple silicon enquanto mantém amplo suporte em vários sistemas operacionais e aceleradores de hardware.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b10734 habilita a API de tensores Metal 4.0 no M5+/A19+

O projeto llama.cpp lançou a versão b10734, que inclui uma atualização para habilitar a API de tensores Metal 4.0 para dispositivos com chips M5+ ou A19+.

media r/LocalLLaMA · há 9 h · 1 visualização

ExLlamaV3 adiciona descarregamento para CPU para especialistas MoE e novos modelos GLM-5.3-Flash, Qwen3.8-Flash

Turboderp lançou atualizações significativas para o ExLlamaV3, introduzindo capacidades de descarregamento para CPU para especialistas de Mixture of Experts (MoE). A atualização também inclui suporte para os novos modelos GLM-5.3-Flash e Qwen3.8-Flash.

github llama.cpp · há 22 h · 2 visualizações

llama.cpp b10724 otimiza a restauração do estado kv-cache para reduzir cópias de 1.3M para 224

O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.

github llama.cpp · há 1 d · 4 visualizações

llama.cpp b10721 corrige falha no WebGPU e adiciona suporte a CUDA 13.4 no Windows

O projeto llama.cpp lançou a compilação b10721, que inclui uma correção crítica para o backend do WebGPU e amplia o suporte de hardware no Windows.