github llama.cpp · há 1 h · inference

llama.cpp b10256 paraleliza o kernel de concatenação não contígua para SYCL

Traduzido do English → Português (BR)

A versão llama.cpp b10256 inclui uma alteração para paralelizar o kernel de concatenação não contígua para dispositivos SYCL. A atualização modifica a geometria de lançamento de um grupo de trabalho de faixa única para um que utiliza `SYCL_CONCAT_BLOCK_SIZE`.

O kernel de concatenação não contígua do SYCL agora lança um grupo de trabalho mais largo para melhorar o paralelismo.
Benchmarks em um Arc Pro B70 com Qwen3.6-27B mostram um aumento de 9,4% na taxa de transferência (de 920 para 1006 t/s).
A versão fornece binários para macOS, Linux, Windows, Android e openEuler através dos backends CPU, CUDA, Vulkan, ROCm, OpenVINO e SYCL.

Esta otimização melhora o desempenho de inferência em GPUs da Intel usando o backend SYCL.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10254 adiciona modelo de template DeepSeek V4 Flash 0731 e atualiza templates V4

O projeto llama.cpp lançou a versão b10254, introduzindo um novo modelo de chat para o modelo DeepSeek V4 Flash 0731 junto com atualizações nos templates existentes do DeepSeek V4.

github llama.cpp · há 1 h Ao vivo

llama.cpp b10255 estende o SDPA do oneDNN para caches KV não-FP16

O lançamento llama.cpp b10255 estende o caminho SDPA do oneDNN para suportar caches de chave-valor (KV) não-FP16, incluindo formatos quantizados Q4_0–Q8_0 e FP32. Esta atualização permite que o kernel systolic fundido seja executado de forma idêntica ao caminho nativo FP16, desquantizando ou convertendo os tensores K/V para FP16 denso no dispositivo antes do processamento.

github llama.cpp · há 4 h

llama.cpp b10251 adiciona suporte MTP para GLM-4.7-Flash

O projeto llama.cpp lançou a compilação b10251, que introduz suporte de Previsão Multi-Token (MTP) para o modelo GLM-4.7-Flash.

media r/LocalLLaMA · há 5 h

AFM3 20B da Apple usa poda de seguimento de instruções para ativar ~20% das camadas

A Apple introduziu uma nova arquitetura para seus modelos fundamentais de terceira geração (AFM3) que utiliza "Poda de Seguimento de Instruções" para reduzir significativamente a contagem de parâmetros ativos. O modelo é projetado para ativar aproximadamente 20% de suas camadas MLP tomando decisões de roteamento uma vez por prompt, em vez de por token.

github llama.cpp · há 6 h

llama.cpp b10249 adiciona ferramenta get_info ao servidor

O projeto llama.cpp lançou a versão b10249, que introduz uma nova ferramenta `get_info` no componente do servidor. Esta atualização também inclui correções de documentação para a flag `--rpc`.