github llama.cpp · há 2 h · inference

llama.cpp b10105 refatora mlock/mmap/directio em um único argumento de modo de carregamento

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b10105, que introduz uma refactorização significativa da interface de linha de comando ao consolidar flags separadas de gerenciamento de memória em um único argumento `load-mode`.

Reestrutura os ajustes de mmap, mlock e E/S direta em um único argumento para simplificar a configuração.
Corrige bugs onde o comportamento das variáveis estava incorreto e mlock não ativava como esperado.
Atualiza llama-bench para sincronizar a análise de argumentos e corrigir problemas de tamanho de colunas.
Adiciona avisos de descontinuação ao combinar flags antigas e novas para guiar os usuários durante a transição.
Inclui limpeza geral do código, atualizações de documentação via llama-gen-docs e correções para o suporte de flags descontinuadas.

Este lançamento ajuda os usuários ao simplificar as opções de configuração de memória e garantir que recursos críticos como mlock funcionem corretamente nas plataformas suportadas.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10099 melhora a quantização NVFP4 W4A4 no CUDA

O projeto llama.cpp lançou a versão b10099, que inclui uma atualização significativa no backend do CUDA para melhorar a quantização de ativação NVFP4 W4A4.

github llama.cpp · há 14 h

llama.cpp b10098 atualiza operações de ativação Hexagon

O projeto llama.cpp lançou a versão b10098, que inclui uma atualização nas operações de ativação Hexagon. Esta versão fornece binários para macOS, Linux, Android, Windows e openEuler em vários backends de CPU e GPU.

media Together AI Blog · há 16 h

Together lança Inferência de Modelo Dedicado com beta de treinamento personalizado

A Together lançou uma atualização significativa para sua plataforma de inferência, introduzindo a "Inferência de Modelo Dedicada" projetada para dar aos usuários controle total sobre desempenho, custo e qualidade para modelos de pesos abertos. A atualização também anuncia um beta fechado para capacidades de treinamento personalizado, incluindo reforço com pesos completos e LoRA.

github llama.cpp · há 16 h

llama.cpp b10094 infere tipo especulativo a partir de sidecars do repositório rascunho

O projeto llama.cpp lançou a versão b10094, introduzindo um recurso que detecta automaticamente o tipo de decodificação especulativa a partir de sidecars do repositório rascunho. Anteriormente, ao usar a flag `-hfd` para apontar para um repositório contendo sidecars mtp-, dflash- ou eagle3- sem fornecer explicitamente `--spec-type`, o sistema resolvia incorretamente o rascunho como um modelo completo.

github llama.cpp · há 18 h

llama.cpp b10093 corrige o modelo DeepSeek v4 e adiciona a flag drop_reasoning

O projeto llama.cpp lançou a build b10093, que inclui atualizações específicas para suportar os modelos DeepSeek v4. O lançamento aborda o tratamento de templates e introduz novas flags de configuração para esta família de modelos.