github llama.cpp · à l'instant · inference

llama.cpp b10593 corrige le rollback de DeepseekV4 et le chargement du modèle

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10593, qui traite des problèmes critiques liés à l'architecture du modèle DeepseekV4. La mise à jour résout spécifiquement un échec de rollback survenu lors du traitement de séquences multiples.

Corrige la gestion du rollback de DeepseekV4 pour les contextes à séquences multiples.
Corrige les procédures générales de chargement du modèle.
Rend les opérations de rollback en attente à usage unique pour prévenir la corruption de l'état.
Garantit que le cache est effacé uniquement pour l'ID de séquence spécifique lors des chargements complets.
Ajoute des assertions pour les ratios de compression et rend la topologie du graphe statique.

Cette version améliore la stabilité pour les utilisateurs exécutant des modèles DeepseekV4 avec plusieurs séquences. Elle fournit également des binaires mis à jour pour macOS, Linux, Windows, Android et iOS sur divers backends matériels incluant CPU, CUDA, ROCm et Vulkan.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10584 corrige le dimensionnement du contexte de brouillon pour éviter les erreurs 500 du serveur

Le projet llama.cpp a publié la compilation b10584, traitant un problème critique où la taille du contexte de brouillon ne correspondait pas au contexte cible, provoquant l'échec des requêtes du serveur avec des erreurs 500.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

media Hugging Face Forums · il y a 2 j · 1 vue

Le moteur Celestium ajoute des optimisations VRAM et un repli sur CPU pour SDXL

Le moteur Celestium a introduit plusieurs mises à jour pour améliorer les performances de SDXL sur du matériel à faible VRAM. Ces modifications se concentrent sur la gestion de la mémoire, la stabilité et les mécanismes de repli afin d'assurer une génération cohérente même sur des systèmes aux ressources limitées.

github llama.cpp · il y a 2 j · 8 vues

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.

github llama.cpp · il y a 2 j · 2 vues

llama.cpp b10545 corrige les lectures hors limites du matmul Metal pour K non multiple de 32

Le projet llama.cpp a publié la compilation b10545, qui résout un bug critique dans le noyau de multiplication de matrices de l'API tensorielle du backend Metal. La mise à jour prévient les comportements indéfinis et les résultats corrompus lors du traitement de tenseurs dont la dimension K n'est pas un multiple de 32.