media r/LocalLLaMA · il y a 1 h · open_models

Quantization-Aware Healing : un modèle compressé en 4 bits qui surpasse son original en précision complète

Traduit de English → Français

L'article présente Quantization-Aware Healing, une méthode pour créer un modèle compressé en 4 bits qui atteint des performances supérieures à celles de son original en précision complète.

Cette approche démontre que des techniques de quantification spécifiques peuvent améliorer les capacités du modèle au-delà de la version non quantisée de base.

Importance 2/3 r/LocalLLaMA Inference efficiency Open weights

Lire l'original

Facebook lance MobileMoE, une famille de modèles de langage MoE pour appareils mobiles

Meta a publié MobileMoE, une collection de modèles de langage Mixture-of-Experts (MoE) pour appareils mobiles conçus pour optimiser le compromis qualité-efficacité sur les appareils mobiles. La famille comprend trois échelles de modèles avec des paramètres actifs sous le milliard et des empreintes de poids inférieures à 3 Go au format INT4.

arxiv arXiv cs.LG · il y a 2 j · 12 vues

Quantization-Aware Healing récupère les LLM 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), un pipeline qui distille des étudiants 4 bits directement depuis des modèles non compressés pour récupérer la performance perdue lors de la compression structurelle et de la quantification. Appliqué à GPT-OSS 120B, cette méthode produit Hypernova-60B, qui égale ou bat la source bfloat16 sur 7 des 9 benchmarks tout en utilisant environ 4 fois moins de mémoire de poids.

arxiv arXiv cs.CL · il y a 2 j · 11 vues

Quantization-Aware Healing récupère les LLMs 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), une méthode pour récupérer les capacités de raisonnement et de codage dans des modèles de langage larges de 4 bits structurellement compressés. Contrairement à l'entraînement conscient de la quantification standard qui réadapte le modèle compressé, QAH distille l'étudiant 4 bits directement depuis le modèle original non compressé.

media Hugging Face Forums · il y a 3 j · 5 vues

Xyntetik Runner entraîne des LoRA directement à partir de poids GGUF quantifiés

Joakimpalm-Zen a mis à jour Xyntetik Runner pour entraîner des adaptateurs LoRA directement en utilisant les mêmes poids GGUF quantifiés qu'il sert pour l'inférence, éliminant ainsi le besoin d'une copie FP16 séparée pour l'entraînement ou d'un runtime dédié.

media MarkTechPost · il y a 5 j · 5 vues

Liquid AI publie les modèles de brouillon LFM2.5-DSpark pour un décodage jusqu'à 3,18x plus rapide

Liquid AI a publié les points de contrôle des modèles de brouillon DSpark pour trois modèles de sa famille LFM2.5 : LFM2.5-1.2B-Instruct, LFM2.5-2.6B et LFM2.5-8B-A1B. Ces générateurs de brouillons ajoutent un chemin de décodage spéculatif aux modèles cibles existants, permettant à un brouillon d'environ 300 millions de paramètres de proposer un bloc de neuf tokens candidats que le modèle cible vérifie en un seul passage avant.