github llama.cpp · há 1 h · inference

llama.cpp b10148 corrige resolução do sidecar e verbosidade de logs

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10148, abordando problemas com a configuração de decodificação especulativa e registro. A atualização garante que argumentos explícitos de linha de comando para modelos rascunho tenham precedência sobre a resolução automática do sidecar.

As flags --model-draft explícitas agora desabilitam a resolução automática do sidecar, permitindo que a configuração manual da CLI substitua o comportamento padrão.
A lógica de seleção do sidecar foi atualizada para ancorar na tag do modelo principal, habilitando correspondências exatas ou fallbacks para quantização mais próxima.
Os logs de carregamento especulativo foram promovidos de trace para info, tornando a visibilidade do contexto do modelo rascunho e MTP consistente com outros logs do sistema.

Essas alterações melhoram a confiabilidade para usuários que dependem de especificações manuais de modelos rascunho e fornecem logs operacionais mais claros.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

TraceML adiciona callback do Hugging Face Trainer para diagnosticar gargalos de carregamento de dados

O autor integrou uma ferramenta de diagnóstico no TraceML, um projeto de observabilidade do PyTorch de código aberto, para ajudar os usuários a distinguir entre problemas de desempenho de treinamento limitados pela GPU e pela entrada. Este novo recurso permite que os desenvolvedores identifiquem rapidamente se a baixa utilização da GPU é causada por carregamento lento de dados ou limites reais de computação do modelo.

github llama.cpp · há 2 h · 1 visualização

Aaron Teo adiciona o argumento -lm mlock ao llama.cpp

Aaron Teo submeteu uma alteração ao repositório do llama.cpp que introduz um novo argumento de linha de comando `-lm mlock`. Essa adição permite que os usuários bloqueiem explicitamente a memória nas regiões onde o código executa operações `mlock`, mas não utiliza `mmap`.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b10144 corrige rotas de stream para nomes de modelos com barras

O lançamento do llama.cpp b10144 aborda problemas críticos no servidor e na interface de usuário relacionados a streams recuperáveis, corrigindo especificamente o tratamento de nomes de modelos que contêm barras. Também resolve bugs onde as solicitações não eram canceladas ou retomadas corretamente durante o carregamento do modelo.

github llama.cpp · há 11 h

llama.cpp b10142 adiciona suporte preliminar ao vision do MiniMax-M3

O projeto llama.cpp lançou a compilação b10142, que introduz suporte preliminar ao vision para o modelo MiniMax-M3. Esta atualização implementa uma versão apenas de texto que reutiliza componentes existentes do MiniMax-M2, incluindo GQA com QK-norm por cabeça e rotação parcial, especialistas no estilo DeepSeek-V3 e ativação swigluoai.

github llama.cpp · há 3 d · 1 visualização

llama.cpp b10107 corrige falha no Windows e fornece binários para várias plataformas

O projeto llama.cpp lançou a versão b10107, que inclui uma correção para uma falha no Windows que ocorria quando o recurso op_poll estava habilitado.