github llama.cpp · há 1 h · inference

llama.cpp b10213 adiciona suporte para quantização de cache kv rotacionado

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10213, introduzindo suporte para quantização de cache de chave-valor rotacionado. Esta atualização está disponível em uma ampla gama de plataformas e aceleradores de hardware.

macOS Apple Silicon (arm64) e Intel (x64)
iOS via XCFramework
Linux Ubuntu x64 e arm64 (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16)
Windows x64 e arm64 (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP)
Android arm64 (CPU)
openEuler x86 e aarch64 (ACL Graph)

O lançamento inclui binários para o aplicativo principal, bem como um pacote de interface do usuário separado.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10212 carrega tensores MTP apenas quando usados

O projeto llama.cpp lançou a versão b10212, que inclui uma alteração para carregar os tensores de Multi-Token Prediction (MTP) apenas se forem realmente utilizados. Esta atualização garante que os tensores MTP sejam ignorados durante o carregamento nos modelos restantes que suportam o recurso, mas não o exigem.

github llama.cpp · há 3 h

llama.cpp b10210 corrige tokens aceitos durante a repetição de tokens rascunho

O projeto llama.cpp lançou a versão b10210, que inclui uma correção na lógica do servidor para lidar com tokens aceitos quando a repetição de tokens rascunho é necessária.

github llama.cpp · há 4 h

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 6 h

llama.cpp b10207 adiciona suporte SYCL para tipos ausentes em cpy

O projeto llama.cpp lançou a versão b10207, que inclui um pull request para adicionar suporte SYCL a tipos de dados anteriormente não suportados na operação cpy.

github llama.cpp · há 7 h

llama.cpp b10206 impõe os mesmos tipos de cache K e V para modelos DeepSeek V4 e MLA

O projeto llama.cpp lançou a versão b10206, que introduz mudanças específicas em como os caches de chave-valor são tratados nos mecanismos de atenção. A atualização garante que os tipos de cache K e V permaneçam consistentes para os modelos DeepSeek V4.