github llama.cpp · agora mesmo · inference

llama.cpp b10772 adiciona suporte a F16 ABS ao backend Hexagon HTP

Traduzido do English → Português (BR)

A versão b10772 do llama.cpp amplia a cobertura de operações unárias F16 do backend Hexagon Tensor Processor (HTP) ao adicionar suporte à função de valor absoluto (ABS).

A atualização introduz kernels e despachantes hvx_abs_f16 em hvx-arith.h, espelhando a estrutura existente sqr_f16.
O ABS é registrado como uma operação HTP_OP_UNARY suportada, permitindo que ggml_hexagon_precompute_unary_params preencha os parâmetros do kernel para nós F16.
A base de código funde as funções separadas execute_op_unary_f32 e f16 em uma única função execute_op_unary para evitar duplicação do gerenciamento de VTCM/DMA.
A verificação no dispositivo em QRD8850 (Hexagon v81) confirmou 8/8 testes aprovados para ABS F16 e F32, sem fallback para CPU.

Esta alteração permite cálculos eficientes de valor absoluto em precisão FP16 em hardware Hexagon compatível, ampliando o intervalo de operações unárias suportadas para inferência móvel.

Importância 1/3 Confiança 1/3 llama.cpp Inference efficiency

Ler original

llama.cpp b10773 aceita URLs de dados para entrada de vídeo e áudio

O servidor llama.cpp na compilação b10773 agora aceita URLs de dados para os campos `input_video` e `input_audio`, resolvendo um problema anterior em que essas entradas eram tratadas incorretamente como strings base64 cruas.

github llama.cpp · há 6 h · 2 visualizações

llama.cpp b10766 adiciona suporte de visão para DeepSeek 4

O projeto llama.cpp lançou a compilação b10766, que inclui uma correção para suportar corretamente a entrada visual do modelo DeepSeek 4.

github llama.cpp · há 7 h · 4 visualizações

llama.cpp b10762 adiciona suporte para DeepSeek-V4-Flash-Vision-Exp

O projeto llama.cpp lançou a compilação b10762, que introduz suporte para o modelo DeepSeek-V4-Flash-Vision-Exp. Esta atualização também inclui o tratamento de contagens mínimas e máximas de tokens pela interface de linha de comando.

github llama.cpp · há 7 h · 5 visualizações

llama.cpp b10763 habilita preserve_reasoning por padrão

O projeto llama.cpp lançou a compilação b10763, que altera o comportamento padrão do argumento de palavra-chave `preserve_reasoning` do modelo de chat. O servidor agora registra o estado efetivo deste kwarg e emite um aviso quando ele está habilitado por padrão em modelos que o suportam.

github llama.cpp · há 14 h · 1 visualização

llama.cpp b10760 corrige estabilidade de inferência do Qwen3-tts-0.6b

O projeto llama.cpp lançou a compilação b10760, que inclui correções específicas para o modelo Qwen3-tts-0.6B para prevenir instabilidade numérica durante a inferência.