github llama.cpp · ahora mismo · inference

llama.cpp b10772 añade soporte para F16 ABS al backend Hexagon HTP

Traducido del English → Español

La versión b10772 de llama.cpp amplía la cobertura de operaciones unarias F16 del backend Hexagon Tensor Processor (HTP) añadiendo soporte para la función valor absoluto (ABS).

La actualización introduce los kernels y despachadores hvx_abs_f16 en hvx-arith.h, reflejando la estructura existente de sqr_f16.
ABS se registra como una operación HTP_OP_UNARY soportada, permitiendo que ggml_hexagon_precompute_unary_params rellene los parámetros del kernel para nodos F16.
La base de código fusiona las funciones separadas execute_op_unary_f32 y f16 en una única función execute_op_unary para evitar duplicar la infraestructura VTCM/DMA.
La verificación en dispositivo en QRD8850 (Hexagon v81) confirmó 8/8 pruebas superadas para ABS F16 y F32 sin fallback a CPU.

Este cambio permite cálculos eficientes de valor absoluto en precisión FP16 en hardware Hexagon compatible, ampliando el rango de operaciones unarias soportadas para inferencia móvil.

Importancia 1/3 Confianza 1/3 llama.cpp Inference efficiency

Leer original

llama.cpp b10773 acepta URLs de datos para entrada de video y audio

El servidor llama.cpp en la compilación b10773 ahora acepta URLs de datos para los campos `input_video` e `input_audio`, resolviendo un problema anterior donde estas entradas se trataban incorrectamente como cadenas base64 sin procesar.

github llama.cpp · hace 6 h · 2 vistas

llama.cpp b10766 añade soporte de visión para DeepSeek 4

El proyecto llama.cpp ha lanzado la compilación b10766, que incluye una corrección para soportar correctamente la entrada visual del modelo DeepSeek 4.

github llama.cpp · hace 7 h · 4 vistas

llama.cpp b10762 añade soporte para DeepSeek-V4-Flash-Vision-Exp

El proyecto llama.cpp ha lanzado la compilación b10762, que introduce soporte para el modelo DeepSeek-V4-Flash-Vision-Exp. Esta actualización también incluye el manejo de conteos mínimos y máximos de tokens desde la interfaz de línea de comandos.

github llama.cpp · hace 7 h · 5 vistas

llama.cpp b10763 habilita preserve_reasoning por defecto

El proyecto llama.cpp lanzó la compilación b10763, que cambia el comportamiento predeterminado del argumento de palabra clave `preserve_reasoning` de la plantilla de chat. El servidor ahora registra el estado efectivo de este kwarg y emite una advertencia cuando está habilitado por defecto en plantillas que lo admiten.

github llama.cpp · hace 14 h · 1 vista

llama.cpp b10760 corrige la estabilidad de inferencia de Qwen3-tts-0.6b

El proyecto llama.cpp lanzó la compilación b10760, que incluye correcciones específicas para el modelo Qwen3-tts-0.6B para prevenir inestabilidad numérica durante la inferencia.