github llama.cpp · il y a 2 h · inference

llama.cpp b10598 utilise un algorithme de redimensionnement pillow-accurate et corrige resize_algo pour tous les modèles

Traduit de English → Français

Le projet llama.cpp a publié la compilation b10598, qui met à jour le module mtmd pour utiliser un algorithme de redimensionnement pillow-accurate et corrige le resize_algo pour tous les modèles. Cette version inclut également des optimisations de vitesse.

Le module mtmd utilise désormais un algorithme de redimensionnement pillow-accurate.
Le resize_algo a été corrigé sur tous les modèles.
Des optimisations générales de vitesse ont été appliquées.

Cette mise à jour garantit un redimensionnement d'image plus précis dans le module mtmd et améliore les performances pour les utilisateurs exécutant llama.cpp sur macOS, iOS, Linux, Windows, Android et openEuler.

Importance 1/3 Confiance 1/3 llama.cpp Inference efficiency Local inference

Lire l'original

llama.cpp b10593 corrige le rollback de DeepseekV4 et le chargement du modèle

Le projet llama.cpp a publié la compilation b10593, qui traite des problèmes critiques liés à l'architecture du modèle DeepseekV4. La mise à jour résout spécifiquement un échec de rollback survenu lors du traitement de séquences multiples.

github llama.cpp · il y a 1 j · 2 vues

llama.cpp b10584 corrige le dimensionnement du contexte de brouillon pour éviter les erreurs 500 du serveur

Le projet llama.cpp a publié la compilation b10584, traitant un problème critique où la taille du contexte de brouillon ne correspondait pas au contexte cible, provoquant l'échec des requêtes du serveur avec des erreurs 500.

github llama.cpp · il y a 2 j · 5 vues

llama.cpp b10568 utilise ggml_rope_set_offset() pour DeepSeek 2

Le projet llama.cpp a publié la compilation b10568, qui met à jour la gestion des modèles pour utiliser la fonction `ggml_rope_set_offset()`. Ce changement est partiellement appliqué pour prendre en charge DeepSeek 2.

media Hugging Face Forums · il y a 2 j · 4 vues

Le moteur Celestium ajoute des optimisations VRAM et un repli sur CPU pour SDXL

Le moteur Celestium a introduit plusieurs mises à jour pour améliorer les performances de SDXL sur du matériel à faible VRAM. Ces modifications se concentrent sur la gestion de la mémoire, la stabilité et les mécanismes de repli afin d'assurer une génération cohérente même sur des systèmes aux ressources limitées.

github llama.cpp · il y a 3 j · 9 vues

llama.cpp b10541 ajoute l'argument --mmproj-device pour les projets multimodaux

Le projet llama.cpp a publié la compilation b10541, introduisant l'argument de ligne de commande `--mmproj-device` permettant aux utilisateurs de spécifier le backend du périphérique pour charger les fichiers de projection multimodale.