media r/LocalLLaMA · il y a 47 j · open_models

Qwen publie les poids ouverts pour Qwen 3.8 27B

Traduit de English → Français

Qwen a publié les poids ouverts pour son modèle Qwen 3.8 27B. Le checkpoint est disponible sur Hugging Face.

Importance 2/3 r/LocalLLaMA Alibaba (Qwen) Inference efficiency Open weights

ISTA publie les GGUF GSQ-RCO pour Qwen3.8-Flash-Next et une version Coder élaguée à 50 % d'experts

Le laboratoire Deep Algorithms and Systems d'ISTA a publié des versions quantifiées au format GGUF du modèle sparse mixture-of-experts Qwen3.8-Flash-Next, ainsi qu'une build expérimentale ciblée sur les capacités avec la moitié de ses experts supprimés.

arxiv arXiv cs.LG · il y a 38 j · 47 vues

Quantization-Aware Healing récupère les LLM 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), un pipeline qui distille des étudiants 4 bits directement depuis des modèles non compressés pour récupérer la performance perdue lors de la compression structurelle et de la quantification. Appliqué à GPT-OSS 120B, cette méthode produit Hypernova-60B, qui égale ou bat la source bfloat16 sur 7 des 9 benchmarks tout en utilisant environ 4 fois moins de mémoire de poids.

arxiv arXiv cs.CL · il y a 38 j · 49 vues

Quantization-Aware Healing récupère les LLMs 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), une méthode pour récupérer les capacités de raisonnement et de codage dans des modèles de langage larges de 4 bits structurellement compressés. Contrairement à l'entraînement conscient de la quantification standard qui réadapte le modèle compressé, QAH distille l'étudiant 4 bits directement depuis le modèle original non compressé.

media MarkTechPost · il y a 75 j · 67 vues

PrismML publie Bonsai 27B, compressant Qwen3.6-27B en poids 1-bit et ternaires

PrismML a publié Bonsai 27B, une quantification basse précision du modèle Qwen3.6-27B qui permet d'exécuter de grands modèles multimodaux sur des ordinateurs portables et des téléphones sans réentraînement.

media r/LocalLLaMA · il y a 77 j · 24 vues

Qwen3.5 122B A10B quantisé avec UD-Q2_K_XL tient dans 64 Go de RAM et améliore les connaissances internes

Un utilisateur démontre que Qwen3.5 122B A10B quantifié avec UD-Q2_K_XL peut tenir dans 64 Go de RAM système, remplaçant ainsi la meilleure option précédente pour cette contrainte.