github llama.cpp · il y a 1 h · inference

llama.cpp b10155 ajoute le support audio MiMo-V2.5

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10155, qui introduit le support pour le modèle d'entrée audio MiMo-V2.5. Cette mise à jour inclut un convertisseur GGUF pour l'audio MiMo et implémente la logique backend C++ nécessaire pour gérer les modèles audio basés sur RVQ.

Ajout du support pour l'entrée audio MiMo-V2.5 en utilisant une architecture de modèle basée sur RVQ.
Inclusion d'un convertisseur GGUF spécifiquement pour les formats audio MiMo.
Implémentation du code d'inférence C++ correspondant pour le nouveau type de modèle.
Fourniture de binaires pour macOS (Apple Silicon et Intel), Linux, Windows, Android et openEuler via des backends CPU, GPU et matériel spécialisé.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10150 ajuste la logique de déchargement ggml et corrige le graphe dsv4

Le projet llama.cpp a publié la compilation b10150, qui inclut des ajustements à la logique ggml pour les opérations de déchargement vers le backend des poids. Cette mise à jour traite également des corrections pour le graphe llama dsv4.

media Hugging Face Forums · il y a 11 h

TraceML ajoute un callback Hugging Face Trainer pour diagnostiquer les goulots d'étranglement du chargement des données

L'auteur a intégré un outil de diagnostic dans TraceML, un projet d'observabilité PyTorch open-source, pour aider les utilisateurs à distinguer les problèmes de performance d'entraînement limités par le calcul GPU et ceux limités par l'entrée. Cette nouvelle fonctionnalité permet aux développeurs d'identifier rapidement si une faible utilisation du GPU est causée par un chargement lent des données ou par des limites réelles de calcul du modèle.

github llama.cpp · il y a 13 h · 2 vues

Aaron Teo ajoute l'argument -lm mlock à llama.cpp

Aaron Teo a soumis une modification au dépôt llama.cpp qui introduit un nouvel argument en ligne de commande `-lm mlock`. Cette ajout permet aux utilisateurs de verrouiller explicitement la mémoire dans les régions où le code effectue des opérations `mlock` mais n'utilise pas `mmap`.

github llama.cpp · il y a 4 j

llama.cpp b10093 corrige le template DeepSeek v4 et ajoute le drapeau drop_reasoning

Le projet llama.cpp a publié la build b10093, qui comprend des mises à jour spécifiques pour prendre en charge les modèles DeepSeek v4. La release traite de la gestion des templates et introduit de nouveaux drapeaux de configuration pour cette famille de modèles.

github llama.cpp · il y a 5 j · 1 vue

llama.cpp b10089 ajoute un support complet k-quant et i-quant à CUDA GET_ROWS

La version llama.cpp b10089 étend les opérations CUDA GET_ROWS pour prendre en charge les formats de quantification k-quants, i-quants et mxfp4. Ce changement garantit que tous les types GGML quantifiés peuvent désormais emprunter le chemin direct du périphérique pour les recherches d'embedding.