github llama.cpp · il y a 1 h · inference

llama.cpp b10604 ajoute le support du format DSV4 de Deepseek 4 et des binaires pour macOS/iOS

Traduit de English → Français

Le projet llama.cpp a publié la version b10604, introduisant le support du format de modèle Deepseek 4 (DSV4) ainsi que de nouveaux binaires précompilés pour macOS et iOS.

Ajoute le support des tenseurs sm pour Deepseek 4 (DSV4) avec une granularité plus grossière pour les splits de têtes et des correctifs pour dspark.
Active la sauvegarde des modèles pour DSV4 et permet à dflash de revenir sur des appareils spécifiques.
Inclut la fonctionnalité de allreduce différé pour les experts partagés.
Fournit des binaires pour Apple Silicon sous macOS, des XCFrameworks pour iOS, et des binaires mis à jour pour Linux, Windows, Android et openEuler via CPU, GPU et backends spécialisés.

Cette version permet aux utilisateurs d'exécuter des modèles Deepseek 4 en utilisant llama.cpp et fournit des builds natifs mis à jour pour les appareils Apple.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10598 utilise un algorithme de redimensionnement pillow-accurate et corrige resize_algo pour tous les modèles

Le projet llama.cpp a publié la compilation b10598, qui met à jour le module mtmd pour utiliser un algorithme de redimensionnement pillow-accurate et corrige le resize_algo pour tous les modèles. Cette version inclut également des optimisations de vitesse.

github llama.cpp · il y a 21 h · 3 vues

llama.cpp b10593 corrige le rollback de DeepseekV4 et le chargement du modèle

Le projet llama.cpp a publié la compilation b10593, qui traite des problèmes critiques liés à l'architecture du modèle DeepseekV4. La mise à jour résout spécifiquement un échec de rollback survenu lors du traitement de séquences multiples.

github llama.cpp · il y a 2 j · 3 vues

llama.cpp b10584 corrige le dimensionnement du contexte de brouillon pour éviter les erreurs 500 du serveur

Le projet llama.cpp a publié la compilation b10584, traitant un problème critique où la taille du contexte de brouillon ne correspondait pas au contexte cible, provoquant l'échec des requêtes du serveur avec des erreurs 500.

github llama.cpp · il y a 2 j · 8 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

media Hugging Face Forums · il y a 3 j · 6 vues

Le moteur Celestium ajoute des optimisations VRAM et un repli sur CPU pour SDXL

Le moteur Celestium a introduit plusieurs mises à jour pour améliorer les performances de SDXL sur du matériel à faible VRAM. Ces modifications se concentrent sur la gestion de la mémoire, la stabilité et les mécanismes de repli afin d'assurer une génération cohérente même sur des systèmes aux ressources limitées.