Um novo projeto chamado vLLM Launcher foi lançado como um aplicativo de desktop para Windows projetado para gerenciar a inferência de modelos de linguagem grandes locais por meio do WSL2. Esta ferramenta permite que os usuários controlem vários backends de motores, incluindo vLLM, SGLang e llama.cpp, a partir de uma única interface gráfica.
O projeto llama.cpp lançou a compilação b10331, que inclui uma correção para o endpoint `get_info` do servidor. Anteriormente, quando nenhum diretório de trabalho atual explícito era fornecido, a função incorretamente recaía no diretório de trabalho do processo do servidor, mesmo se um tools runtime estivesse configurado.
O projeto llama.cpp lançou a versão b10330, introduzindo uma otimização do CUDA que funde as operações rms_norm, multiplicação e RoPE em um único kernel. Essa mudança é acompanhada por verificações de intervalo de memória para as operações fundidas e novos casos de teste para pesos de broadcast.
O projeto llama.cpp lançou a compilação b10328, que introduz suporte inicial para isolar ferramentas dentro do componente do servidor usando Docker. Esta atualização inclui documentação e adaptações de código para separar as caixas de areia de E/S das ferramentas e renomear as sinalizações de configuração relevantes.
O projeto llama.cpp lançou a versão b10327, que inclui uma correção para a contagem de threads e blocos nos lançamentos do kernel de cópia quantizada no CUDA. Esta atualização aborda um problema identificado no pull request #26731.
O projeto llama.cpp lançou a compilação b10326, que modifica como as medições de tempo são calculadas ao incluir a passagem do vocoder.
O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.
O projeto llama.cpp lançou a compilação b10322, que inclui uma otimização de desempenho que coalesce os carregamentos de janela SSM_CONV no backend SYCL.
O projeto llama.cpp lançou a versão b10313, que introduz um agendador LRU (Least Recently Used) para seu componente de servidor. Esta atualização inclui tratamento de coalescência de requisições e correções para casos de streaming.
O projeto llama.cpp lançou a compilação b10311, que inclui uma correção para o pipeline do Qwen3-TTS. A atualização resolve um problema em que o modelo lia a fala de entrada duas vezes durante a geração.
O projeto llama.cpp lançou a versão b10312, que inclui uma atualização específica para o componente do servidor. A principal alteração aborda um problema em que modelos ocupados estavam sendo removidos do roteador.
O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.
O projeto llama.cpp lançou a compilação b10305, que introduz suporte para operações específicas de DSv4 no backend SYCL. Esta atualização inclui a implementação dos operadores LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST e DSV4_HC_PRE.
A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.
O projeto llama.cpp lançou a compilação b10298, que introduz uma nova função de salvamento e carregamento de chunks para o módulo mtmd. Esta atualização também inclui limpeza de código e testes adicionais.
O projeto llama.cpp lançou a compilação b10293, que inclui a integração contínua da AMD ROCm para a arquitetura gfx1151 e resolve problemas de correção em GPUs integradas com RDNA3.5.
O projeto llama.cpp lançou a versão b10291, que inclui correções críticas para o backend do Vulkan junto com atualizações padrão da plataforma. As principais alterações técnicas abordam problemas de tamanho do lote de submissão e introduzem novas capacidades de diagnóstico para erros do driver.
O projeto llama.cpp lançou a compilação b10290, introduzindo uma nova função `ggml_build_forward_order` na biblioteca ggml. Esta alteração corrige um bug no gráfico de áudio mtmd onde o uso de `ggml_build_forward_expand` como uma dica de ordenação pura causava a execução de ramos não selecionados com entradas desatualizadas.
A versão b10289 do llama.cpp endurece a travessia de diretórios do file_glob_search do servidor para prevenir loops infinitos em junctions do Windows e melhora o relatório de erros para diretórios não legíveis.
Uma nova ferramenta chamada QuantCheck destaca que o checkpoint final do pré-treinamento pode não ser a escolha ideal para a quantização de 4 bits, pois os benchmarks podem permanecer planos enquanto a fragilidade aumenta. O autor observou esse padrão no Pythia-160m, onde o checkpoint final sofreu aproximadamente quatro vezes mais danos à qualidade do que um checkpoint anterior de igual qualidade.