github llama.cpp · há 13 h · inference

llama.cpp b10754 corrige leituras fora dos limites em kernels de imagem OpenCL da Adreno

Traduzido do English → Português (BR)

O projeto llama.cpp lançou a compilação b10754, que inclui uma correção crítica para o OpenCL em GPUs Adreno para prevenir leituras de memória fora dos limites em kernels de processamento de imagens.

A busca da linha de decodificação q4_K GEMV agora é limitada em uma grade x preenchida.
O contrato de agrupamento para GEMMs KQ/KQV de imagem é estritamente aplicado.
A lógica de divisão para a imagem KQ/KQV é determinada no momento do despacho, em vez de depender dos passos (strides).

Esta atualização garante estabilidade e correção para usuários que executam o llama.cpp com aceleração OpenCL em hardware Adreno.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10766 adiciona suporte de visão para DeepSeek 4

O projeto llama.cpp lançou a compilação b10766, que inclui uma correção para suportar corretamente a entrada visual do modelo DeepSeek 4.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10762 adiciona suporte para DeepSeek-V4-Flash-Vision-Exp

O projeto llama.cpp lançou a compilação b10762, que introduz suporte para o modelo DeepSeek-V4-Flash-Vision-Exp. Esta atualização também inclui o tratamento de contagens mínimas e máximas de tokens pela interface de linha de comando.

github llama.cpp · há 1 h · 1 visualização Ao vivo

llama.cpp b10763 habilita preserve_reasoning por padrão

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.

github llama.cpp · há 8 h · 1 visualização

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

O projeto llama.cpp lançou a compilação b10760, que inclui correções específicas para o modelo Qwen3-tts-0.6B para prevenir instabilidade numérica durante a inferência.

github llama.cpp · há 9 h · 1 visualização

llama.cpp b10758 adiciona fusão de MUL_MAT e MUL_MAT_ID para Hexagon

O projeto llama.cpp lançou a compilação b10758, introduzindo capacidades de fusão de MUL_MAT e MUL_MAT_ID para o DSP Hexagon. Esta atualização também inclui várias correções para melhorar a estabilidade e o desempenho em hardware Qualcomm.