github llama.cpp · agora mesmo · inference

llama.cpp b10817 adiciona rastreamento de memória SYCL via GGML_SYCL_MEMTRACE

Traduzido do English → Português (BR)

O lançamento do llama.cpp b10817 introduz um novo recurso de rastreamento de memória SYCL para ajudar os desenvolvedores a entender os padrões de alocação de memória do dispositivo. Essa funcionalidade é controlada por duas novas variáveis de ambiente que permitem o registro detalhado do uso da memória.

Definir GGML_SYCL_MEMTRACE=1 exibe o uso de memória por local, atualizando-se apenas quando as alocações aumentam em mais de 64MiB.
Definir GGML_SYCL_MEMTRACE=2 registra cada evento individual de alocação e desalocação.
O limite de relatório padrão pode ser personalizado usando a variável GGML_SYCL_MEMTRACE_STEP.

Essa ferramenta tem como objetivo auxiliar na depuração de problemas relacionados à memória e já provou ser útil para melhorar o algoritmo --fit.

Importância 1/3 Confiança 1/3 llama.cpp Hugging Face Inference efficiency

Ler original

llama.cpp 0.4.0 adiciona suporte para Qwen3.8-Flash-Next e Nemotron-3-Puzzle

O llama.cpp versão 0.4.0 introduz suporte de arquitetura inicial para os modelos Qwen3.8-Flash-Next e NVIDIA Nemotron-3-Puzzle-75B-A9B, juntamente com uma atualização da biblioteca subjacente ggml para a versão 0.23.0.

github llama.cpp · há 1 d · 2 visualizações

llama.cpp b10795 funde operações SYCL

O projeto llama.cpp lançou a versão b10795, que inclui uma nova otimização para o backend SYCL. Esta atualização permite a fusão das cadeias RMS_NORM+MUL+ADD e ADD+ADD residual sob a flag GGML_SYCL_ENABLE_FUSION.

github llama.cpp · há 2 d · 3 visualizações

llama.cpp b10791 adiciona otimizações de GEMV de decodificação e lm_head quantizado para OpenCL

O projeto llama.cpp lançou a versão b10791, introduzindo otimizações significativas do OpenCL para cabeças de modelos de linguagem quantizadas e operações de GEMV de decodificação. Esta atualização também inclui melhorias de GEMM em lotes médios relevantes para decodificação especulativa e previsão de múltiplos tokens.

media r/LocalLLaMA · há 2 d · 6 visualizações

IFM lança K2-Horizon-MoVA-36B-A4B, um modelo MoE esparso com 4B de parâmetros ativos

A IFM lançou o checkpoint final para o K2-Horizon-MoVA-36B-A4B, um modelo Mixture-of-Experts que apresenta atenção Mixture-of-Values, armazena 36B de parâmetros mas executa apenas 4B por token. O lançamento inclui formatos GGUF e links para variantes menores da família K2-Horizon.

github llama.cpp · há 2 d · 8 visualizações

llama.cpp adiciona suporte a flash attention esparsa para pré-carregamento no Metal

O projeto llama.cpp introduziu suporte ao flash attention (FA) esparsa para o backend Metal, direcionado especificamente à fase de pré-carregamento da inferência do modelo. Esta atualização inclui um novo kernel que compacta entradas de máscara finita em listas de índices por linha e estende o kernel FA vetorial com coleta opcional de índices esparsos.