github llama.cpp · à l'instant · inference

llama.cpp b10772 ajoute le support F16 ABS au backend Hexagon HTP

Traduit de English → Français

La version b10772 de llama.cpp étend la couverture des opérations unaires F16 du backend Hexagon Tensor Processor (HTP) en ajoutant le support de la fonction valeur absolue (ABS).

La mise à jour introduit les noyaux et les dispatchers hvx_abs_f16 dans hvx-arith.h, en miroir de la structure sqr_f16 existante.
ABS est enregistré comme une opération HTP_OP_UNARY prise en charge, permettant à ggml_hexagon_precompute_unary_params de remplir les paramètres du noyau pour les nœuds F16.
La base de code fusionne les fonctions séparées execute_op_unary_f32 et f16 en une seule fonction execute_op_unary afin d'éviter la duplication du mécanisme VTCM/DMA.
La vérification sur l'appareil QRD8850 (Hexagon v81) a confirmé 8/8 tests réussis pour ABS F16 et F32 sans retour à CPU.

Ce changement permet des calculs de valeur absolue efficaces en précision FP16 sur le matériel Hexagon compatible, élargissant la gamme des opérations unaires prises en charge pour l'inférence mobile.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10773 accepte les URLs de données pour l'entrée vidéo et audio

Le serveur llama.cpp dans la version b10773 accepte désormais les URL de données pour les champs `input_video` et `input_audio`, résolvant un problème précédent où ces entrées étaient incorrectement traitées comme des chaînes base64 brutes.

github llama.cpp · il y a 6 h · 2 vues

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 7 h · 4 vues

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 7 h · 5 vues

llama.cpp b10763 active preserve_reasoning par défaut

Le projet llama.cpp a publié la compilation b10763, qui modifie le comportement par défaut de l'argument mot-clé `preserve_reasoning` du modèle de chat. Le serveur enregistre désormais l'état effectif de ce kwarg et émet un avertissement lorsqu'il est activé par défaut sur les modèles qui le prennent en charge.

github llama.cpp · il y a 14 h · 1 vue

llama.cpp b10760 corrige la stabilité de l'inférence de Qwen3-tts-0.6b

Le projet llama.cpp a publié la compilation b10760, qui comprend des correctifs spécifiques pour le modèle Qwen3-tts-0.6B afin d'éviter l'instabilité numérique lors de l'inférence.