github llama.cpp · il y a 1 h · inference

llama.cpp b10148 corrige la résolution du sidecar de draft et la verbosité des logs

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10148, traitant des problèmes de configuration du décodage spéculatif et de la journalisation. La mise à jour garantit que les arguments de ligne de commande explicites pour les modèles draft ont la priorité sur la résolution automatique du sidecar.

Les drapeaux --model-draft explicites désactivent désormais la résolution automatique du sidecar, permettant à la configuration CLI manuelle de remplacer le comportement par défaut.
La logique de sélection du sidecar a été mise à jour pour s'ancrer sur la balise du modèle principal, permettant des correspondances exactes ou un retour à la quantification la plus proche.
Les logs de chargement spéculatif ont été promus du niveau trace au niveau info, rendant la visibilité du contexte du modèle draft et MTP cohérente avec les autres logs système.

Ces modifications améliorent la fiabilité pour les utilisateurs dépendant des spécifications manuelles des modèles draft et fournissent une journalisation opérationnelle plus claire.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency

Lire l'original

Articles similaires

media Hugging Face Forums · à l'instant En direct

TraceML ajoute un callback Hugging Face Trainer pour diagnostiquer les goulots d'étranglement du chargement des données

L'auteur a intégré un outil de diagnostic dans TraceML, un projet d'observabilité PyTorch open-source, pour aider les utilisateurs à distinguer les problèmes de performance d'entraînement limités par le calcul GPU et ceux limités par l'entrée. Cette nouvelle fonctionnalité permet aux développeurs d'identifier rapidement si une faible utilisation du GPU est causée par un chargement lent des données ou par des limites réelles de calcul du modèle.

github llama.cpp · il y a 2 h · 1 vue

Aaron Teo ajoute l'argument -lm mlock à llama.cpp

Aaron Teo a soumis une modification au dépôt llama.cpp qui introduit un nouvel argument en ligne de commande `-lm mlock`. Cette ajout permet aux utilisateurs de verrouiller explicitement la mémoire dans les régions où le code effectue des opérations `mlock` mais n'utilise pas `mmap`.

github llama.cpp · il y a 6 h · 2 vues

llama.cpp b10144 corrige les itinéraires de flux pour les noms de modèles contenant des barres obliques

La version b10144 de llama.cpp traite des problèmes critiques dans le serveur et l'interface utilisateur concernant les flux résumables, en corrigeant spécifiquement la gestion des noms de modèles contenant des barres obliques. Elle résout également des bugs où les requêtes n'étaient pas correctement annulées ou reprises pendant le chargement du modèle.

github llama.cpp · il y a 11 h

llama.cpp b10142 ajoute un support préliminaire pour la vision MiniMax-M3

Le projet llama.cpp a publié la version b10142, qui introduit un support préliminaire de la vision pour le modèle MiniMax-M3. Cette mise à jour implémente un portage en mode texte uniquement qui réutilise les composants existants de MiniMax-M2, notamment GQA avec QK-norm par tête et rotation partielle, experts de style DeepSeek-V3 et activation swigluoai.

github llama.cpp · il y a 3 j · 1 vue

llama.cpp b10107 corrige un crash sous Windows et fournit des binaires pour plusieurs plateformes

Le projet llama.cpp a publié la version b10107, qui inclut une correction pour un crash sous Windows survenant lorsque la fonctionnalité op_poll était activée.