github llama.cpp · agora mesmo · inference

llama.cpp b11138 analisa +/- unários antes de variáveis

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11138, que atualiza o analisador de modelos Jinja para lidar com operadores unários de mais e menos antes das variáveis.

O lexer agora emite tokens unary_operator para expressões como -n ou +n, permitindo que sejam analisados com precedência multiplicativa.
Esta alteração permite a avaliação correta de fatias como items[:-n] e GigaChat indent[:-indent_factor].
Os +/- unários são restritos a vincular-se apenas ao operando primário ou postfix, garantindo que -n|abs seja avaliado como (-n)|abs em vez de -(n|abs).
O lançamento inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows e openEuler.

Esta atualização garante que a lógica de modelos envolvendo indexação negativa ou variáveis com sinal funcione corretamente dentro da implementação Jinja do llama.cpp.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11140 habilita sparse-fa para prefill dsv4 no CUDA

O projeto llama.cpp lançou a versão b11140, que inclui uma otimização de CUDA que habilita o uso de sparse-fa para o prefill dsv4. Esta atualização aborda problemas de desempenho no processo de varredura de máscaras do flash attention ao templatear kernels para permitir o desenrolamento de loops em tempo de compilação.

github llama.cpp · há 2 h · 12 visualizações

llama.cpp b11136 adiciona suporte a video_url da OpenAI ao llama-server

O projeto llama.cpp lançou a compilação b11136, que atualiza o llama-server para aceitar o tipo de conteúdo "video_url" padrão da OpenAI para entradas de vídeo. Anteriormente, o servidor aceitava apenas um tipo não padrão "input_video" e rejeitava URIs de dados, causando problemas de compatibilidade com clientes conformes à OpenAI.

github llama.cpp · há 3 h · 11 visualizações

llama.cpp b11132 adiciona suporte ao backbone de rascunho Gemma 4 DSpark

O projeto llama.cpp lançou a versão b11132, introduzindo suporte ao backbone de rascunho Gemma 4 DSpark. Esta atualização habilita a conversão GGUF e capacidades em tempo de execução para rascunhos Gemma 4 com atenção completa e SWA, incluindo pesos de saída vinculados e metadados do backbone booleanos.

github llama.cpp · há 8 h · 12 visualizações

llama.cpp b11122 estende a fusão MMVQ GLU e adiciona novas fusões SYCL

O projeto llama.cpp lançou a versão b11122, que inclui atualizações significativas para o backend SYCL. O lançamento estende a fusão MMVQ GLU para suportar tipos de quantização mistos e introduz novas fusões para as operações rms_norm+scale e ssm_conv+silu.

github llama.cpp · há 9 h · 12 visualizações

llama.cpp b11120 oculta símbolos internos do Vulkan para corrigir destruição de estado

O projeto llama.cpp lançou a versão b11120, que corrige um bug crítico no backend do Vulkan ocultando símbolos internos. Essa mudança evita problemas de destruição de estado por duplicate-dlopen que ocorriam quando os símbolos internos eram exportados.