github llama.cpp · há 3 d · inference

llama.cpp b11060 corrige projeção de passo de tempo do Mamba e pula cópia contígua

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11060, que inclui uma correção para o modelo Mamba para garantir que a entrada da projeção do passo de tempo seja contígua. Esta alteração aborda problemas de layout de memória na implementação do Mamba.

O módulo Mamba agora torna a entrada da projeção do passo de tempo contígua para evitar erros.
Uma otimização subsequente pula a operação de cópia contígua após a normalização no caminho do Mamba.
A versão fornece binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL), Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, ROCm), Android e openEuler.

Esta atualização garante a estabilidade para modelos baseados em Mamba, mantendo amplo suporte de hardware no ecossistema llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency Local inference

Ler original

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 1 h · 11 visualizações Ao vivo

llama.cpp b11120 oculta símbolos internos do Vulkan para corrigir destruição de estado

O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.

github llama.cpp · há 6 h · 13 visualizações

llama.cpp b11118 introduz cache DMA de mapeamento direto para tratamento de máscara HVX FA

O projeto llama.cpp lançou a compilação b11118, que inclui um novo recurso hex-dma introduzindo um cache DMA de mapeamento direto mais adequado para o tratamento de máscaras FA do Hexagon Vector eXtended (HVX).

github llama.cpp · há 17 h · 9 visualizações

llama.cpp adiciona suporte a DFlash para HunyuanOCR e corrige conversão de rascunho

O projeto llama.cpp adicionou suporte à decodificação especulativa DFlash com o modelo HunyuanOCR, expondo tensores de entrada das camadas no grafo alvo. Essa alteração permite que o modelo de rascunho leia os fluxos residuais, possibilitando que solicitações de imagem sejam executadas com sucesso, apresentando uma taxa de aceitação de rascunho de aproximadamente 0,5 e saída OCR idêntica em bytes em comparação às execuções não especulativas.

github llama.cpp · há 18 h · 13 visualizações

llama.cpp b11104 adiciona suporte para vincular o llama-server a múltiplos endereços

O projeto llama.cpp lançou a versão b11104, introduzindo um novo recurso que permite ao componente llama-server se vincular a múltiplos endereços de rede simultaneamente.