media Hugging Face Forums · il y a 1 h · open_models

Celestium Neon corrige l'OOM de SDXL sur les GPU de 4 Go en nettoyant la VRAM

Traduit de English → Français

Celestium Neon est un nouvel outil conçu pour nettoyer la VRAM et permettre l'inférence de Stable Diffusion XL (SDXL) sur des cartes graphiques disposant de seulement 4 Go de mémoire, comme la GTX 1650.

L'outil fonctionne grâce à plusieurs mécanismes clés :

Nettoyage L1-L2 de PyTorch pour libérer la VRAM des tenseurs zombies
Surveillance de la VRAM en temps réel pour afficher les baisses de MiB en direct
Fonctionnalité SDXL RESET pour forcer le nettoyage lors d'erreurs de manque de mémoire
Intervalles de nettoyage automatique définis toutes les 5 minutes

Les tests sur une GTX 1650 avec le pilote 591.86 ont démontré que l'outil empêche avec succès les plantages OOM, réduisant l'utilisation de la VRAM à 938 MiB après le nettoyage et permettant la complétion de la génération d'images.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Local inference

Lire l'original

llama.cpp b10636 désactive la compilation de l'interface npm par défaut et nettoie le CI

Le projet llama.cpp a publié la version b10636, qui modifie le comportement par défaut lors de la compilation de l'interface web. La compilation de l'interface basée sur npm est désormais désactivée par défaut (LLAMA_BUILD_UI=OFF), l'interface étant intégrée à partir de sources locales ou de téléchargements précompilés.

github llama.cpp · il y a 5 h · 1 vue

llama.cpp b10635 débloque mmq pour MoE sur sm_60

Le projet llama.cpp a publié la version b10635, qui inclut des mises à jour spécifiques du support CUDA. Le changement principal est le déblocage de la multiplication matricielle en précision mixte (mmq) pour les architectures Mixture of Experts (MoE) sur les GPU de capacité de calcul 6.0 (sm_60).

github llama.cpp · il y a 2 j · 11 vues

llama.cpp b10604 ajoute le support du format DSV4 de Deepseek 4 et des binaires pour macOS/iOS

Le projet llama.cpp a publié la version b10604, introduisant le support du format de modèle Deepseek 4 (DSV4) ainsi que de nouveaux binaires précompilés pour macOS et iOS.

github llama.cpp · il y a 3 j · 5 vues

llama.cpp b10598 utilise un algorithme de redimensionnement pillow-accurate et corrige resize_algo pour tous les modèles

Le projet llama.cpp a publié la compilation b10598, qui met à jour le module mtmd pour utiliser un algorithme de redimensionnement pillow-accurate et corrige le resize_algo pour tous les modèles. Cette version inclut également des optimisations de vitesse.

github llama.cpp · il y a 3 j · 6 vues

llama.cpp b10593 corrige le rollback de DeepseekV4 et le chargement du modèle

Le projet llama.cpp a publié la compilation b10593, qui traite des problèmes critiques liés à l'architecture du modèle DeepseekV4. La mise à jour résout spécifiquement un échec de rollback survenu lors du traitement de séquences multiples.