O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.
Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para reduzir custos para agentes de codificação de longo alcance em até 50% sob um contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter as informações compactadas fiéis por meio de truncamento em vez de reformulação.
Pesquisadores apresentam o CliffCompaction, uma técnica de autocompactação projetada para agentes que lidam com milhões de tokens, que corta custos em até 50% sob contexto limitado. O método mantém ou melhora o desempenho no Terminal-Bench e alcança resultados de estado da arte no KernelBench ao manter a fidelidade das informações por meio de truncamento em vez de reformulação.
O projeto llama.cpp lançou a compilação b11118, que inclui um novo recurso hex-dma introduzindo um cache DMA de mapeamento direto mais adequado para o tratamento de máscaras FA do Hexagon Vector eXtended (HVX).
A Parallel integrou o GPT-6 Astra da OpenAI em sua infraestrutura de agentes de IA, alcançando uma redução de 50% tanto no tempo de pesquisa quanto nos custos de código em comparação com modelos anteriores. A empresa relata que o novo modelo permite que os agentes concluam trabalhos de conhecimento complexo significativamente mais rápido, mantendo alta qualidade de saída.
O projeto llama.cpp lançou a compilação b11111, que introduz kernels de otimização flash attention baseados em Vulkan para caminhos split k nas arquiteturas Xe-LPG Plus, Xe2 e Xe3.
O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.
O projeto llama.cpp lançou a versão b11104, introduzindo um novo recurso que permite ao componente llama-server se vincular a múltiplos endereços de rede simultaneamente.
O projeto llama.cpp lançou a compilação b11102, que introduz suporte para converter modelos MiMo-V2.6.
O projeto llama.cpp lançou a versão b11101, que inclui uma correção no sistema de compilação permitindo chamadas repetidas de find_package para a biblioteca llama.
A biblioteca Transformers do Hugging Face agora suporta o carregamento de modelos quantizados em GGUF, aproveitando os kernels ggml subjacentes para trazer o desempenho próximo ao do llama.cpp. Essa integração permite que desenvolvedores executem checkpoints quantizados diretamente na API padrão baseada em PyTorch em hardware compatível.
O projeto llama.cpp lançou a compilação b11100, que aborda um problema específico de análise com o modelo Muse Glimmer. A principal alteração envolve corrigir o primeiro erro do parser encontrado durante a execução da chamada de ferramenta para este modelo.
O projeto llama.cpp lançou a versão b11097, que introduz um kernel binário OpenCL para o formato A8 Q4_0 non-MoE dp4a.
Jen Wei encontrou uma espiral de morte da taxa de aprendizado ao testar AdamW, Muon e a implementação mais recente do Dion3 dentro do OLMo-core para uma próxima palestra na Conferência PyTorch.
Um usuário está planejando construir um modelo de linguagem grande nativo em grego e sem censura para implantação local usando o checkpoint ilsp/Llama-Krikri-8B-Instruct. O plano proposto envolve ablatorar o modelo com Heretic (heretic-llm), convertê-lo para o formato GGUF Q4_K_M e executar inferência em um GMKtec EVO-X3 equipado com processador AMD Ryzen AI MAX+ 395 via Vulkan.
A Together AI introduziu lançamentos Canary, um recurso que migra o tráfego ativo de um modelo atual para uma nova verificação em etapas com controle de acesso. Este sistema automatiza o mecanismo de segurança para troca de modelos executando verificações de integridade e portas de métricas opcionais antes de mover o tráfego, permitindo pausas e reversões automáticas se o desempenho degradar.
Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para níveis apropriados de modelo, em vez de usar modelos de fronteira para cada tarefa. O sistema aborda a ineficiência das soluções existentes que ignoram a complexidade variada de subtarefas dentro de uma única sessão de agente.
O lançamento do llama.cpp b11095 introduz uma nova implementação de GATED_DELTA_NET (GDN) otimizada para HMX, juntamente com várias otimizações para os kernels Hexagon e Flash Attention.
Pesquisadores propõem o AgentRouter, um classificador leve que otimiza fluxos de trabalho agênticos multi-etapas ao rotear etapas individuais da trajetória para camadas apropriadas de modelos, em vez de usar um único modelo de fronteira para todas as tarefas. O sistema aborda a ineficiência dos sistemas empresariais que desperdiçam 60-80% de seu orçamento de inferência em subtarefas que modelos menores podem lidar igualmente bem.
O projeto llama.cpp lançou a versão b11090, que inclui uma correção para um erro de compilação de tile sm_70. A atualização generaliza a forma do tile da função load_ldmatrix de 5 argumentos para resolver incompatibilidades com as arquiteturas Volta.