github llama.cpp · agora mesmo · inference

llama.cpp b10782 corrige otimização de gráficos CUDA para múltiplas GPUs

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10782, que aborda um problema crítico no backend CUDA para configurações com múltiplas GPUs. A atualização permite streams concorrentes por divisão e habilita a otimização de gráficos CUDA para funcionar corretamente em vários dispositivos.

Corrige um bug onde eventos CUDA eram vinculados incorretamente à GPU que estava ativa durante a criação, fazendo com que a otimização de gráficos para múltiplas GPUs fosse ignorada.
Implementa a configuração explícita do dispositivo via `ggml_cuda_set_device` para garantir que as otimizações se apliquem à divisão correta por dispositivo.
A correção está ativa apenas quando `GGML_CUDA_GRAPH_OPT=1` está habilitado; o comportamento padrão permanece inalterado.

Esta alteração garante que a otimização de gráficos seja executada uma vez por divisão, em vez de ser contornada, permitindo que a inferência com múltiplas GPUs utilize a aceleração CUDA corretamente.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10780 aprimora a API do SYCL para suportar cópia peer-to-peer

O projeto llama.cpp lançou a versão b10780, que inclui uma melhoria específica no backend do SYCL. Esta atualização modifica a API para habilitar capacidades de cópia peer-to-peer para dispositivos SYCL.

github llama.cpp · há 2 h · 1 visualização

llama.cpp b10781 corrige o engajamento do caminho de desquantização FA do Vulkan

O projeto llama.cpp lançou a compilação b10781, que inclui uma correção para o caminho de desquantização da atenção rápida (FA) do Vulkan. A atualização resolve um problema em que o shader verificava incorretamente `nb[3]` mesmo quando `ne[3] == 1`, fazendo com que o caminho só fosse ativado quando o cache estivesse cheio.

github llama.cpp · há 2 h · 1 visualização

llama.cpp adiciona suporte para NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp introduz suporte para o modelo NVIDIA Nemotron-3-Puzzle-75B-A9B, habilitando inferência para esta arquitetura de Mixture of Experts. A atualização implementa infraestrutura para tamanhos de feed-forward de experts por camada variáveis e roteamento top-k, que são necessários porque o modelo tem 40 camadas MoE com valores distintos de n_ff_exp e top-k.

github llama.cpp · há 3 h · 1 visualização

llama.cpp b10777 reduz trabalho redundante no Q4_K multi-column MMVQ

O projeto llama.cpp lançou a compilação b10777, que inclui otimizações para o backend SYCL na multiplicação matriz-vetor (MMVQ) de múltiplas colunas com Q4_K. A atualização foca em reduzir trabalho computacional redundante por meio de estratégias de descompactação de pesos e reutilização de ativações.

github llama.cpp · há 9 h · 1 visualização

ggml-org lança llama.cpp b10774 com correção de cache KV para fine-tuning

O projeto ggml-org lançou a versão b10774 do llama.cpp, que inclui uma correção para o problema de falta de cache KV no módulo de fine-tuning.