github llama.cpp · agora mesmo · inference

llama.cpp b10738 adiciona limite de memória fixada ao host para SYCL

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10738, fornecendo binários para macOS, Linux, Windows, Android e openEuler em CPU, GPU e vários backends de aceleradores.

O lançamento inclui uma atualização específica para o suporte SYCL que limita a memória máxima de alocação para 2 GB para memória fixada ao host.
As compilações do macOS Apple Silicon com KleidiAI estão desativadas nesta versão.
O suporte preview para CUDA 13 no Windows arm64 está incluído.
Os binários ROCm 7.14 e OpenVINO 2026.3.1 estão disponíveis para Ubuntu e Windows.

Esta atualização permite que os usuários acessem a funcionalidade mais recente do llama.cpp em hardware suportado, com atenção específica às restrições de memória nas implementações SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

Hugging Face lança 207 kernels WebGPU e uma ferramenta de benchmarking no navegador

A Hugging Face lançou @huggingface/kernels, uma biblioteca para carregar e executar kernels WebGPU otimizados do Hugging Face Hub, junto com uma coleção inicial de 207 kernels. O lançamento também apresenta o Fleet, um conjunto de testes de GPU no navegador que coleta evidências de desempenho e correção dos dispositivos dos usuários.

github llama.cpp · há 2 h · 11 visualizações

llama.cpp b10737 corrige salvamento/restauração do estado qwen4exp e desativa -sm tensor

O projeto llama.cpp lançou a compilação b10737, que corrige bugs críticos no suporte à arquitetura qwen4exp. A atualização resolve problemas com a persistência do estado da sequência e evita abortos de CUDA durante o carregamento do modelo.

github llama.cpp · há 11 h · 2 visualizações

llama.cpp b10730 otimiza o processamento de prompts do Qwen4exp somando cabeças do indexador por fatias

O projeto llama.cpp lançou a compilação b10730, que inclui otimizações para a arquitetura do modelo Qwen4exp. A principal alteração envolve somar as cabeças do indexador por fatias em vez de usar uma operação de transposição e sum_rows, reduzindo a sobrecarga de cópia de memória.

github llama.cpp · há 19 h · 3 visualizações

llama.cpp b10727 adiciona suporte a concat para tipos quantizados

O projeto llama.cpp lançou a compilação b10727, que introduz suporte à concatenação para tipos de dados quantizados. Esta atualização é assistida pelo DeepSeek-V4-Flash-0731 e inclui binários para macOS, Linux, Windows, Android e openEuler em vários backends de hardware, incluindo CPU, CUDA, ROCm e Vulkan.

github llama.cpp · há 21 h · 6 visualizações

llama.cpp b10726 acelera o processamento de prompts de modelos IQ em grandes lotes com AVX2

O projeto llama.cpp lançou a versão b10726, que introduz otimizações significativas de desempenho para processar tamanhos de lote grandes em modelos quantizados IQ. A atualização principal aproveita as instruções AVX2 para acelerar os quants IQ de grade por meio de operações GEMM em lote.