github llama.cpp · agora mesmo · inference

llama.cpp b11140 habilita sparse-fa para prefill dsv4 no CUDA

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a versão b11140, que inclui uma otimização de CUDA que habilita o uso de sparse-fa para o prefill dsv4. Esta atualização aborda problemas de desempenho no processo de varredura de máscaras do flash attention ao templatear kernels para permitir o desenrolamento de loops em tempo de compilação.

O loop de consulta de `flash_attn_mask_to_sparse_indices` agora é limitado em tempo de compilação, reduzindo o tempo de varredura de 46 para 17 microssegundos para formas de decodificação esparsa com 49k colunas.
As verificações de fora dos limites para a varredura da máscara esparsa foram movidas para o código do host, permitindo que a operação esparsa em lote no contexto de 49k caia de 586 para 244 microssegundos.

Este lançamento fornece binários para macOS, Linux, Windows, Android e openEuler através de backends de CPU, GPU e NPU.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11138 analisa +/- unários antes de variáveis

O projeto llama.cpp lançou a compilação b11138, que atualiza o analisador de modelos Jinja para lidar com operadores unários de mais e menos antes das variáveis.

github llama.cpp · há 2 h · 12 visualizações

llama.cpp b11136 adiciona suporte a video_url da OpenAI ao llama-server

O projeto llama.cpp lançou a compilação b11136, que atualiza o llama-server para aceitar o tipo de conteúdo "video_url" padrão da OpenAI para entradas de vídeo. Anteriormente, o servidor aceitava apenas um tipo não padrão "input_video" e rejeitava URIs de dados, causando problemas de compatibilidade com clientes conformes à OpenAI.

github llama.cpp · há 3 h · 12 visualizações

llama.cpp b11132 adiciona suporte ao backbone de rascunho Gemma 4 DSpark

O projeto llama.cpp lançou a versão b11132, introduzindo suporte ao backbone de rascunho Gemma 4 DSpark. Esta atualização habilita a conversão GGUF e capacidades em tempo de execução para rascunhos Gemma 4 com atenção completa e SWA, incluindo pesos de saída vinculados e metadados do backbone booleanos.

github llama.cpp · há 8 h · 12 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 10 h · 12 visualizações

llama.cpp b11120 oculta símbolos internos do Vulkan para corrigir destruição de estado

O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.