github llama.cpp · há 1 h · inference

llama.cpp b10472 ignora substituição de UMA para compilações HIP

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10472, que inclui uma correção para ignorar a substituição da Arquitetura de Memória Unificada (UMA) para compilações HIP. Esta alteração aborda um problema em que as Unidades de Processamento Acelerado (APU) da AMD relatavam informações de memória imprecisas via hipMemGetInfo.

A atualização resolve o problema do GitHub #18159, impedindo que o MemAvailable prometa demais em sistemas com partições pequenas.
As compilações do macOS Apple Silicon com KleidiAI estão desativadas nesta versão.
O suporte ao Ubuntu ROCm 7.14 também está desativado.
Binários estão disponíveis para Linux, Windows, Android e macOS através de CPU, CUDA, Vulkan, OpenVINO, SYCL e outros backends.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

Protótipo SpiralCoreAttention seleciona blocos de tokens para ajuste fino QLoRA de sequências longas

Um desenvolvedor está buscando feedback sobre o SpiralCoreAttention, um protótipo experimental de seleção de contexto durante o treinamento para ajuste fino de LLMs de pesos abertos. Em vez de processar sequências longas completas em cada passagem direta e inversa, o sistema seleciona blocos específicos de tokens da sequência para treinar, enquanto avalia o adaptador resultante em sequências de contexto completo mantidas fora do conjunto de treinamento.

github llama.cpp · há 11 h · 7 visualizações

llama.cpp b10456 corrige contagem de threads do SYCL para ganho de 7x na taxa de transferência no Arc 70

O projeto llama.cpp lançou a versão b10456, que inclui uma correção crítica para o backend SYCL nos lançamentos do kernel de cópia quantizada. A atualização ajusta as contagens de threads e blocos para serem proporcionais ao tamanho da quantização, reduzindo efetivamente os problemas de sub- e super-reserva.

media r/LocalLLaMA · há 1 d · 10 visualizações

Protótipo SpiralCoreAttention seleciona blocos de tokens para ajuste fino QLoRA de sequências longas

llama.cpp b10456 corrige contagem de threads do SYCL para ganho de 7x na taxa de transferência no Arc 70

NVIDIA serve Qwen 3.8 2.4T no GB300 NVL72 a 4K tokens/s por GPU

llama.cpp adiciona suporte ao modelo Kimi-K3 com repacking MXFP4 e template de chat

llama.cpp b10447 redesenha o modelo de threads yield_to_queue