media r/LocalLLaMA · il y a 1 h · open_models

Le modèle MoE G9v3-39A5B montre de solides résultats sur artificialanalysis

Traduit de English → Français

Le modèle G9v3-39A5B attire l'attention pour ses performances sur artificialanalysis, où il se classerait au-dessus de Qwen 3.6 27B.

Il s'agit d'une architecture Mixture of Experts (MoE).
Une branche de fonctionnalités de llama.cpp existe pour prendre en charge le format G9v3.
Les checkpoints GGUF sont disponibles via Hugging Face.

Importance 2/3 r/LocalLLaMA Inference efficiency Local inference

Lire l'original

Le pipeline Celestium permet l'exécution de SDXL sur des GPU de 4 à 8 Go grâce à la précision FP16 adaptative et au basculement vers le CPU

Un diagnostic utilisant le pipeline d'inférence agnostique au matériel de Celestium démontre que Stable Diffusion XL peut s'exécuter de manière stable sur des GPU à faible VRAM (4 Go, 6 Go et 8 Go) en tirant parti de la précision FP16 adaptative et du nettoyage autonome de la mémoire. Cette approche évite les pics de fragmentation lors des pipelines multi-étapes et utilise un mode CPU d'urgence pour maintenir la génération lorsque la VRAM du GPU est épuisée.

github llama.cpp · il y a 11 h · 1 vue

llama.cpp b10505 ajoute l'option de préréglage dedup-cache-models

Le projet llama.cpp a publié la version b10505, qui introduit une nouvelle option de préréglage `dedup-cache-models` pour le composant serveur.

media Hugging Face Forums · il y a 2 j · 3 vues

La quantification du cache KV par magnitude de Fourier double la longueur du contexte à mémoire égale

ntrillard démontre que la quantification du spectre de magnitude de Fourier des valeurs du cache K et V sur 4 bits, tout en préservant la phase à pleine précision, atteint une correspondance de tokens de 96,9 % par rapport à la référence fp16 sur Gemma-3-1B, soit une amélioration de 5 à 10 fois par rapport à la quantification min-max standard.

github llama.cpp · il y a 5 j · 26 vues

llama.cpp ajoute le support du modèle Kimi-K3 avec reconditionnement MXFP4 et modèle de chat

Le projet llama.cpp a ajouté la prise en charge du modèle textuel Kimi-K3, implémentant son architecture d'attention hybride KDA (linéaire) + MLA (complet) ainsi que cinq caractéristiques architecturales spécifiques absentes de l'ancien Kimi-Linear-48B.

github llama.cpp · il y a 5 j · 21 vues

llama.cpp b10447 redessine le modèle de threads yield_to_queue

Le projet llama.cpp a publié la compilation b10447, qui inclut un redessin du modèle de threads `yield_to_queue`. Ce changement implique l'exécution de `common_speculative_process` dans le worker et le remplacement du design du thread worker vers le thread principal.