Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.
O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.
O projeto llama.cpp lançou a compilação b10328, que introduz suporte inicial para isolar ferramentas dentro do componente do servidor usando Docker. Esta atualização inclui documentação e adaptações de código para separar as caixas de areia de E/S das ferramentas e renomear as sinalizações de configuração relevantes.
O servidor e a UI do llama.cpp foram atualizados para exibir condicionalmente o controle do diretório de trabalho. Anteriormente, este elemento aparecia sempre que qualquer ferramenta integrada era exposta, mesmo que nenhuma ferramenta realmente o usasse.
O projeto llama.cpp lançou a versão b10327, que inclui uma correção para a contagem de threads e blocos nos lançamentos do kernel de cópia quantizada no CUDA. Esta atualização aborda um problema identificado no pull request #26731.
O projeto llama.cpp lançou a versão b10313, que introduz um agendador LRU (Least Recently Used) para seu componente de servidor. Esta atualização inclui tratamento de coalescência de requisições e correções para casos de streaming.
O projeto llama.cpp lançou a versão b10312, que inclui uma atualização específica para o componente do servidor. A principal alteração aborda um problema em que modelos ocupados estavam sendo removidos do roteador.
O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.
O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.
O projeto llama.cpp lançou a versão b10282, que introduz novas capacidades de monitoramento para decodificação especulativa. O servidor agora inclui contadores de spec-decode em seu endpoint /metrics, permitindo que os usuários acompanhem as métricas de desempenho relacionadas a este recurso.
A versão llama.cpp b10271 introduz um recurso de diretório de trabalho por conversa na UI, permitindo que os usuários definam e naveguem pelos diretórios independentemente para cada sessão de chat.
O projeto llama.cpp lançou a versão b10270, introduzindo suporte para o modelo Qwen3-TTS. Esta atualização inclui uma mudança que quebra no binário llama-tts e implementa modificações arquiteturais significativas para lidar com o novo fluxo de trabalho de texto para fala.
O projeto llama.cpp lançou a compilação b10259, que introduz a capacidade de permitir a reconfiguração de tensores durante o processo de carregamento.
O projeto llama.cpp lançou a versão b10254, introduzindo um novo modelo de chat para o modelo DeepSeek V4 Flash 0731 junto com atualizações nos templates existentes do DeepSeek V4.
O projeto llama.cpp lançou a compilação b10251, que introduz suporte de Previsão Multi-Token (MTP) para o modelo GLM-4.7-Flash.
O projeto llama.cpp lançou a compilação b10238, que introduz o suporte para Multi-Token Prediction (MTP) na família de modelos Qwen3-Next. Esta atualização inclui alterações específicas de implementação para lidar com camadas MTP e correções relacionadas à verificação de tipos do Python no código-fonte.
O projeto llama.cpp lançou a compilação b10237, que introduz o suporte à Predição de Múltiplos Tókenes (MTP) para o modelo DeepSeek V3.2.
O projeto llama.cpp lançou a compilação b10232, que introduz suporte para as hiperconexões do DeepSeek V4 por meio do backend do Metal. Esta atualização adiciona a implementação das operações GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE e GGML_OP_DSV4_HC_POST.
O projeto llama.cpp lançou a versão b10219, que inclui uma correção para o CLI para persistir o conteúdo do raciocínio dentro do histórico de chat. Anteriormente, embora o `llama-cli` coletasse o raciocínio do stream para exibição, ele armazenava apenas o conteúdo do assistente nas mensagens, impedindo que a flag `--reasoning-preserve` re-injetasse pensamentos anteriores em rodadas posteriores.
O projeto llama.cpp lançou a versão b10213, introduzindo suporte para quantização de cache de chave-valor rotacionado. Esta atualização está disponível em uma ampla gama de plataformas e aceleradores de hardware.