github llama.cpp · há 1 h · inference

llama.cpp b10456 corrige contagem de threads do SYCL para ganho de 7x na taxa de transferência no Arc 70

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10456, que inclui uma correção crítica para o backend SYCL nos lançamentos do kernel de cópia quantizada. A atualização ajusta as contagens de threads e blocos para serem proporcionais ao tamanho da quantização, reduzindo efetivamente os problemas de sub- e super-reserva.

Corrige a contagem de threads/blocos nos lançamentos do kernel cpy quantizado (PR #27160).
A taxa de transferência para o caminho q4_0 -> f32 em um Arc 70 aumenta de 20,21 GB/s para 158,19 GB/s.
Outros caminhos de quantização mostram aumentos planos de desempenho.
Os binários estão disponíveis para macOS, Linux, Windows, Android e openEuler nos backends CPU, CUDA, Vulkan, ROCm, OpenVINO e SYCL.

Esta alteração melhora significativamente a eficiência da transferência de dados em GPUs Intel Arc usando o backend SYCL, abordando um grande gargalo de desempenho nas operações quantizadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Protótipo SpiralCoreAttention seleciona blocos de tokens para ajuste fino QLoRA de sequências longas

Um desenvolvedor está buscando feedback sobre o SpiralCoreAttention, um protótipo experimental de seleção de contexto durante o treinamento para ajuste fino de LLMs de pesos abertos. Em vez de processar sequências longas completas em cada passagem direta e inversa, o sistema seleciona blocos específicos de tokens da sequência para treinar, enquanto avalia o adaptador resultante em sequências de contexto completo mantidas fora do conjunto de treinamento.

media r/LocalLLaMA · há 14 h · 8 visualizações

NVIDIA serve Qwen 3.8 2.4T no GB300 NVL72 a 4K tokens/s por GPU

A NVIDIA demonstrou o serviço do modelo de parâmetros Qwen 3.8 2.4T com capacidades de raciocínio configuráveis em sua plataforma de hardware GB300 NVL72.

github llama.cpp · há 1 d · 9 visualizações

llama.cpp adiciona suporte ao modelo Kimi-K3 com repacking MXFP4 e template de chat

O projeto llama.cpp adicionou suporte ao modelo de texto Kimi-K3, implementando sua arquitetura de atenção híbrida KDA (linear) + MLA (completa), juntamente com cinco recursos arquitetônicos específicos ausentes no Kimi-Linear-48B mais antigo.

github llama.cpp · há 2 d · 10 visualizações

llama.cpp b10447 redesenha o modelo de threads yield_to_queue

O projeto llama.cpp lançou a compilação b10447, que inclui um redesenho do modelo de threads `yield_to_queue`. Esta alteração envolve executar `common_speculative_process` no worker e trocar o design da thread worker para a principal.

github llama.cpp · há 2 d · 9 visualizações

llama.cpp b10444 adiciona suporte a modelos assistentes MTP e remove eagle3

O projeto llama.cpp lançou a versão b10444, introduzindo suporte para carregar modelos assistentes de Previsão Multi-Token (MTP) através da flag `--models-dir`. Esta atualização também inclui verificação estrita de prefixo para modelos MTP em presets e remove o suporte ao tipo de rascunho eagle3.