github llama.cpp · há 1 h · inference

llama.cpp b10326 leva em conta a passagem do vocoder nos tempos

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10326, que modifica como as medições de tempo são calculadas ao incluir a passagem do vocoder.

A atualização garante que `get_output` execute o trabalho de forma de onda adiado pelo pipeline, medindo-o desde uma única janela final até uma passagem completa, dependendo do modelo.
Esta alteração mantém a precisão do tempo total relatado e da relação de áudio para processamento.
Os binários estão disponíveis para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) e openEuler.

A modificação melhora a precisão das métricas de desempenho ao garantir que os custos de processamento de áudio sejam corretamente contabilizados nos tempos relatados.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

O projeto llama.cpp lançou a versão b10321, que inclui uma correção crítica para as operações GGML_OP_NORM e GGML_OP_RMS_NORM no Metal. A atualização resolve um problema em que threadgroups dimensionados para deixar um grupo SIMD parcial resultavam em cálculos incorretos de média e variância devido à perda de somas parciais.

github llama.cpp · há 2 h

llama.cpp b10321 corrige NORM/RMS_NORM para comprimentos parciais de linha do simdgroup

llama.cpp b10322 coalesce carregamentos de janela SSM_CONV para aceleração de ~1.85x

llama.cpp b10313 adiciona agendador LRU ao servidor

llama.cpp b10311 corrige duplicação de fluxo de texto do Qwen3-TTS

Lançamento do llama.cpp b10312 com correção no servidor para modelos ocupados