github llama.cpp · à l'instant · inference

llama.cpp b10773 accepte les URLs de données pour l'entrée vidéo et audio

Traduit de English → Français

Le serveur llama.cpp dans la version b10773 accepte désormais les URL de données pour les champs `input_video` et `input_audio`, résolvant un problème précédent où ces entrées étaient incorrectement traitées comme des chaînes base64 brutes.

La fonction `handle_media()` est mise à jour pour passer `true` pour ces types de contenu, permettant les types MIME vidéo et audio dans la validation des URL de données.
Une entrée malformée renvoie désormais une erreur 400 au lieu d'une erreur 500 en lançant `std::invalid_argument`.
Le drapeau `accept_base64_uri` a été supprimé de `handle_media`, simplifiant le code.
Un test unitaire et des commentaires mis à jour sont ajoutés pour gérer les types MIME URI de données invalides.

Cette amélioration renforce la robustesse du serveur en fournissant une gestion d'erreurs plus claire pour les entrées multimédias malformées.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

llama.cpp b10766 ajoute le support de la vision pour DeepSeek 4

Le projet llama.cpp a publié la compilation b10766, qui inclut une correction pour prendre correctement en charge l'entrée visuelle du modèle DeepSeek 4.

github llama.cpp · il y a 6 h · 4 vues

llama.cpp b10762 ajoute le support de DeepSeek-V4-Flash-Vision-Exp

Le projet llama.cpp a publié la compilation b10762, qui introduit le support pour le modèle DeepSeek-V4-Flash-Vision-Exp. Cette mise à jour inclut également la gestion des comptes minimum et maximum de tokens depuis l'interface en ligne de commande.

github llama.cpp · il y a 6 h · 5 vues

llama.cpp b10763 active preserve_reasoning par défaut

Le projet llama.cpp a publié la compilation b10763, qui modifie le comportement par défaut de l'argument mot-clé `preserve_reasoning` du modèle de chat. Le serveur enregistre désormais l'état effectif de ce kwarg et émet un avertissement lorsqu'il est activé par défaut sur les modèles qui le prennent en charge.

github llama.cpp · il y a 13 h · 1 vue

llama.cpp b10760 corrige la stabilité de l'inférence de Qwen3-tts-0.6b

Le projet llama.cpp a publié la compilation b10760, qui comprend des correctifs spécifiques pour le modèle Qwen3-tts-0.6B afin d'éviter l'instabilité numérique lors de l'inférence.

github llama.cpp · il y a 13 h · 1 vue

llama.cpp b10758 ajoute la fusion MUL_MAT et MUL_MAT_ID pour Hexagon

Le projet llama.cpp a publié la compilation b10758, introduisant les capacités de fusion MUL_MAT et MUL_MAT_ID pour le DSP Hexagon. Cette mise à jour comprend également plusieurs correctifs pour améliorer la stabilité et les performances sur le matériel Qualcomm.