github llama.cpp · há 1 h · inference

llama.cpp b10311 corrige duplicação de fluxo de texto do Qwen3-TTS

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10311, que inclui uma correção para o pipeline do Qwen3-TTS. A atualização resolve um problema em que o modelo lia a fala de entrada duas vezes durante a geração.

Corrige um bug na sobreposição de pré-preenchimento não streaming que causava o reenvio do fluxo de texto durante a geração do Qwen3-TTS.
Corrige o estado oculto do texto final para colapsar em uma única linha tts_pad, correspondendo ao layout do pré-preenchimento.
Fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, SYCL) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10313 adiciona agendador LRU ao servidor

O projeto llama.cpp lançou a versão b10313, que introduz um agendador LRU (Least Recently Used) para seu componente de servidor. Esta atualização inclui tratamento de coalescência de requisições e correções para casos de streaming.

github llama.cpp · há 1 h Ao vivo

Lançamento do llama.cpp b10312 com correção no servidor para modelos ocupados

O projeto llama.cpp lançou a versão b10312, que inclui uma atualização específica para o componente do servidor. A principal alteração aborda um problema em que modelos ocupados estavam sendo removidos do roteador.

github llama.cpp · há 4 h

llama.cpp b10307 corrige a análise de NVFP4 no SYCL

O projeto llama.cpp lançou a versão b10307, que inclui uma correção para o código GPU do SYCL para analisar corretamente os fatores de escala UE4M3 usados na quantização NVFP4.

github llama.cpp · há 5 h

llama.cpp b10305 adiciona suporte SYCL para operações DSv4

O projeto llama.cpp lançou a compilação b10305, que introduz suporte para operações específicas de DSv4 no backend SYCL. Esta atualização inclui a implementação dos operadores LIGHTNING_INDEXER, DSV4_HC_COMB, DSV4_HC_POST e DSV4_HC_PRE.

github llama.cpp · há 5 h

llama.cpp b10306 adiciona caminho plano de GLU SYCL e consolida kernels

A versão b10306 do llama.cpp introduz otimizações de desempenho para o backend SYCL, focando especificamente nas operações de Unidade Linear com Gating (GLU). A atualização adiciona um caminho rápido contíguo para operações GLU fundidas e consolida kernels anteriormente distintos para compartilhar um único lançador.