github llama.cpp · há 1 h · inference

llama.cpp b11377 honra json_schema no analisador Ling 3.0

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b11377, que atualiza o analisador de chat Ling 3.0 para lidar corretamente com as restrições `json_schema`.

Anteriormente, a gramática do Ling 3.0 suportava apenas chamadas de ferramentas e deixava as solicitações `response_format` sem restrição. Esta versão adiciona um caminho de gramática de resposta antecipada que tem precedência sobre as ferramentas.

A atualização requer um bloco `<think>` antes da saída JSON quando o pensamento está habilitado e impede prosa após a resposta JSON, corrigindo o problema #29652.

Esta compilação inclui binários para macOS (Apple Silicon e Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows (CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm) e openEuler.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b11375 corrige abortos de realocação de grafos sob GGML_SCHED_NO_REALLOC

O projeto llama.cpp lançou a compilação b11375, que aborda um problema crítico onde células ubatch não contíguas forçavam realocações de grafos que seriam abortadas quando a flag GGML_SCHED_NO_REALLOC estava definida.

github llama.cpp · há 3 h · 1 visualização

ggml-openvino atualiza para 2026.4.1 com fusão de MoE e correções na listagem de dispositivos

O backend ggml-openvino do llama.cpp foi atualizado para a versão 2026.4.1, introduzindo otimizações de desempenho, suporte expandido a operadores e melhor enumeração de dispositivos.

github llama.cpp · há 4 h · 1 visualização

llama.cpp b11372 reduz pela metade a memória do índice qwen4exp e adiciona suporte a CUDA com 4 cabeças

O lançamento llama.cpp b11372 introduz otimizações para o índice relâmpago do modelo qwen4exp, principalmente reduzindo pela metade a memória necessária para as pontuações do índice durante o processamento de contexto longo. Isso é alcançado calculando as pontuações das cabeças in situ, em vez de materializar tensores separados para cada cabeça.

github llama.cpp · há 10 h · 2 visualizações

llama.cpp b11370 funde especialistas compartilhados no MMVQ

O projeto llama.cpp lançou a compilação b11370, que inclui uma otimização de CUDA para fundir especialistas compartilhados na arquitetura Mixture of MoE com Quantização Vetorial (MMVQ). Esta alteração faz parte do pull request #29184 e também aborda verificações nulas de buffers e manipulação de argumentos para stride_col_dst.

github llama.cpp · há 13 h · 2 visualizações

llama.cpp b11368 adiciona amostragem probabilística para rascunho simples e MTP

O projeto llama.cpp lançou a compilação b11368, que introduz amostragem probabilística para fluxos de trabalho de rascunho simples e MTP (Multi-Token Prediction). Esta atualização modifica o mecanismo de rascunho para usar seleção probabilística enquanto verifica os alvos por meio de amostragem por rejeição.