github llama.cpp · há 1 h · inference

llama.cpp b10247 corrige travamentos com modelos MoE largos usando alocação dinâmica

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10247, que aborda problemas de estabilidade ao carregar grandes modelos Mixture of Experts (MoE) em configurações multi-backend. A atualização substitui arrays de tamanho fixo no agendador do backend por buffers alocados dinamicamente para lidar com divisões de gráfico que excedem 30 tensores de entrada.

Substitui GGML_SCHED_MAX_SPLIT_INPUTS por alocação dinâmica para entradas de gráficos divididos.
Corrige travamentos ao carregar modelos MoE largos como Gemma 4, Qwen MoE, Mixtral e DeepSeek.
Atualiza o cálculo do graph_size para usar a contagem real de entradas em vez de uma constante fixa.
Fornece binários para macOS (Apple Silicon/Intel), Linux (CPU/Vulkan/ROCm/OpenVINO/SYCL), Windows (CPU/CUDA/Vulkan/OpenVINO/SYCL/HIP), Android e iOS.

Esta alteração permite que os usuários executem arquiteturas MoE complexas sem encontrar travamentos relacionados ao agendador em sistemas com múltiplos dispositivos de backend.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10246 roteia grandes lm_head q6_K para GEMV plano

O projeto llama.cpp lançou a versão b10246, que inclui uma correção para o desempenho do OpenCL em configurações específicas de modelos. A atualização aborda um problema onde a condição de dimensão original era insuficiente para lidar com grandes pesos.

github llama.cpp · há 7 h · 2 visualizações

llama.cpp b10242 adiciona amostrador de backend CUDA para penalidades

O projeto llama.cpp lançou a versão b10242, introduzindo um novo amostrador de backend para penalidades que permite que o tratamento das penalidades seja descarregado para a GPU. Esta alteração aprimora a função `common_sampler_init` e atualiza a estrutura `llama_sampler_penalties` para herdar de `llama_sampler_backend`, permitindo ajustes de frequência e presença no backend.

github llama.cpp · há 10 h · 1 visualização

llama.cpp b10241 corrige data-races de SMEM no block_reduce do CUDA

O projeto llama.cpp lançou a versão b10241, que aborda um bug crítico no backend do CUDA. A atualização resolve as data-races que ocorriam ao reutilizar a memória compartilhada (SMEM) durante reduções em bloco.

media Hugging Face Forums · há 13 h · 1 visualização

Quesma publica mapa curado com 218 ferramentas e artigos para eficiência de custo de tokens em LLM

A Quesma lançou uma lista aberta e curada contendo 218 entradas que rastreiam onde os tokens são gastos em fluxos de trabalho de LLM e agentes. O recurso cobre monitoramento, cache semântico, modelos locais baratos, engenharia de contexto e governança de custos.

github llama.cpp · há 16 h

llama.cpp b10238 adiciona suporte para MTP no Qwen3-Next

O projeto llama.cpp lançou a compilação b10238, que introduz o suporte para Multi-Token Prediction (MTP) na família de modelos Qwen3-Next. Esta atualização inclui alterações específicas de implementação para lidar com camadas MTP e correções relacionadas à verificação de tipos do Python no código-fonte.