github llama.cpp · há 1 h · inference

llama.cpp b10210 corrige tokens aceitos durante a repetição de tokens rascunho

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10210, que inclui uma correção na lógica do servidor para lidar com tokens aceitos quando a repetição de tokens rascunho é necessária.

Corrige os tokens aceitos no componente do servidor quando a repetição de tokens rascunho é necessária.
Fornece binários pré-compilados para macOS (Apple Silicon e Intel), iOS, Linux (Ubuntu x64/arm64/s390x com CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.
Inclui um pacote de lançamento com interface gráfica.

Esta atualização garante o manuseio preciso de tokens em cenários de decodificação especulativa em todas as plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10212 carrega tensores MTP apenas quando usados

O projeto llama.cpp lançou a versão b10212, que inclui uma alteração para carregar os tensores de Multi-Token Prediction (MTP) apenas se forem realmente utilizados. Esta atualização garante que os tensores MTP sejam ignorados durante o carregamento nos modelos restantes que suportam o recurso, mas não o exigem.

github llama.cpp · há 2 h

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 4 h

llama.cpp b10207 adiciona suporte SYCL para tipos ausentes em cpy

O projeto llama.cpp lançou a versão b10207, que inclui um pull request para adicionar suporte SYCL a tipos de dados anteriormente não suportados na operação cpy.

github llama.cpp · há 6 h

llama.cpp b10206 impõe os mesmos tipos de cache K e V para modelos DeepSeek V4 e MLA

O projeto llama.cpp lançou a versão b10206, que introduz mudanças específicas em como os caches de chave-valor são tratados nos mecanismos de atenção. A atualização garante que os tipos de cache K e V permaneçam consistentes para os modelos DeepSeek V4.

github llama.cpp · há 8 h

Lançamento do llama.cpp b10202 com fusão SYCL RMS_NORM

O projeto llama.cpp lançou a versão b10202, introduzindo uma otimização SYCL que funde as operações RMS_NORM e MUL.