github llama.cpp · há 1 h · inference

llama.cpp b10212 carrega tensores MTP apenas quando usados

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10212, que inclui uma alteração para carregar os tensores de Multi-Token Prediction (MTP) apenas se forem realmente utilizados. Esta atualização garante que os tensores MTP sejam ignorados durante o carregamento nos modelos restantes que suportam o recurso, mas não o exigem.

Carregar tensores MTP condicionalmente com base no uso.
Ignorar o carregamento de MTP em modelos compatíveis onde não é necessário.

Esta otimização reduz a sobrecarga desnecessária de memória para modelos que não utilizam Multi-Token Prediction.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b10210 corrige tokens aceitos durante a repetição de tokens rascunho

O projeto llama.cpp lançou a versão b10210, que inclui uma correção na lógica do servidor para lidar com tokens aceitos quando a repetição de tokens rascunho é necessária.

github llama.cpp · há 2 h

llama.cpp b10208 adiciona flash attention GEMM oneMKL para processamento de prompt acelerado por XMX

A versão b10208 do llama.cpp introduz suporte SYCL para flash attention GEMM oneMKL, permitindo aceleração por hardware XMX no processamento de prompts. Essa alteração melhora significativamente a velocidade de inferência em GPUs Intel Arc ao utilizar kernels MKL em vez do caminho TILE padrão.

github llama.cpp · há 4 h

llama.cpp b10207 adiciona suporte SYCL para tipos ausentes em cpy

O projeto llama.cpp lançou a versão b10207, que inclui um pull request para adicionar suporte SYCL a tipos de dados anteriormente não suportados na operação cpy.

github llama.cpp · há 6 h

llama.cpp b10206 impõe os mesmos tipos de cache K e V para modelos DeepSeek V4 e MLA

O projeto llama.cpp lançou a versão b10206, que introduz mudanças específicas em como os caches de chave-valor são tratados nos mecanismos de atenção. A atualização garante que os tipos de cache K e V permaneçam consistentes para os modelos DeepSeek V4.

github llama.cpp · há 8 h

Lançamento do llama.cpp b10202 com fusão SYCL RMS_NORM

O projeto llama.cpp lançou a versão b10202, introduzindo uma otimização SYCL que funde as operações RMS_NORM e MUL.