github llama.cpp · agora mesmo · inference

llama.cpp b10742 adiciona ajustes fa-vec para A18 Pro

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10742, que inclui um novo recurso adicionando ajustes de vetor rápido (fa-vec) especificamente para o chip Apple A18 Pro encontrado no MacBook Neo.

Esta versão fornece binários em várias plataformas e configurações de hardware:

macOS: Apple Silicon (arm64), Intel (x64) e iOS XCFramework.
Linux: compilações do Ubuntu para CPU (x64, arm64, s390x), Vulkan, ROCm 7.14, OpenVINO e SYCL (FP32/FP16).
Windows: CPU (x64, arm64), OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL e ROCm 7.14.
Android: CPU arm64.

As notas de lançamento indicam que o suporte do KleidiAI para macOS Apple Silicon está atualmente desativado nesta compilação.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10739 adiciona ajuste fa-vec para M2 Max

O projeto llama.cpp lançou a versão b10739, que inclui uma otimização de desempenho específica para o hardware Apple M2 Max. Esta atualização introduz o ajuste de vetores de atenção rápida (fa-vec) adaptado aos 30 núcleos GPU do M2 Max.

lab Hugging Face Blog · há 3 h · 3 visualizações

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 7 h · 1 visualização

llama.cpp b10734 habilita a API de tensores Metal 4.0 no M5+/A19+

O projeto llama.cpp lançou a versão b10734, que inclui uma atualização para habilitar a API de tensores Metal 4.0 para dispositivos com chips M5+ ou A19+.

media r/LocalLLaMA · há 12 h · 1 visualização

ExLlamaV3 adiciona descarregamento para CPU para especialistas MoE e novos modelos GLM-5.3-Flash, Qwen3.8-Flash

Turboderp lançou atualizações significativas para o ExLlamaV3, introduzindo capacidades de descarregamento para CPU para especialistas de Mixture of Experts (MoE). A atualização também inclui suporte para os novos modelos GLM-5.3-Flash e Qwen3.8-Flash.

github llama.cpp · há 1 d · 3 visualizações

llama.cpp b10724 otimiza a restauração do estado kv-cache para reduzir cópias de 1.3M para 224

O projeto llama.cpp lançou a compilação b10724, que melhora significativamente o desempenho da restauração de células KV cache não contíguas agrupando leituras scatter por execução contínua.