media r/LocalLLaMA · il y a 1 h · open_models

Facebook lance MobileMoE, une famille de modèles de langage MoE pour appareils mobiles

Traduit de English → Français

Meta a publié MobileMoE, une collection de modèles de langage Mixture-of-Experts (MoE) pour appareils mobiles conçus pour optimiser le compromis qualité-efficacité sur les appareils mobiles. La famille comprend trois échelles de modèles avec des paramètres actifs sous le milliard et des empreintes de poids inférieures à 3 Go au format INT4.

Les modèles comportent 0,3B, 0,5B et 0,9B de paramètres actifs (1,3B, 2,8B et 5,3B au total), chacun disponible en variantes Base, SFT et QAT.
MobileMoE-L-Base est le modèle pré-entraîné avec 922M de paramètres actifs, 32 couches et une longueur de contexte de 8 192 tokens.
L'architecture utilise 60 experts routés avec un routage top-k sigmoid et un expert partagé, prenant en charge l'entrée et la sortie de texte en anglais.
Publiés sous la licence FAIR NC en août 2026, les modèles sont hébergés sur Hugging Face.

Importance 2/3 r/LocalLLaMA Meta AI Inference efficiency Open weights

Lire l'original

Quantization-Aware Healing récupère les LLM 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), un pipeline qui distille des étudiants 4 bits directement depuis des modèles non compressés pour récupérer la performance perdue lors de la compression structurelle et de la quantification. Appliqué à GPT-OSS 120B, cette méthode produit Hypernova-60B, qui égale ou bat la source bfloat16 sur 7 des 9 benchmarks tout en utilisant environ 4 fois moins de mémoire de poids.

arxiv arXiv cs.CL · il y a 17 h · 9 vues

Quantization-Aware Healing récupère les LLMs 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), une méthode pour récupérer les capacités de raisonnement et de codage dans des modèles de langage larges de 4 bits structurellement compressés. Contrairement à l'entraînement conscient de la quantification standard qui réadapte le modèle compressé, QAH distille l'étudiant 4 bits directement depuis le modèle original non compressé.

media Hugging Face Forums · il y a 2 j · 6 vues

Xyntetik Runner entraîne des LoRA directement à partir de poids GGUF quantifiés

Joakimpalm-Zen a mis à jour Xyntetik Runner pour entraîner des adaptateurs LoRA directement en utilisant les mêmes poids GGUF quantifiés qu'il sert pour l'inférence, éliminant ainsi le besoin d'une copie FP16 séparée pour l'entraînement ou d'un runtime dédié.

media MarkTechPost · il y a 4 j · 11 vues

Liquid AI publie les modèles de brouillon LFM2.5-DSpark pour un décodage jusqu'à 3,18x plus rapide

Liquid AI a publié les points de contrôle des modèles de brouillon DSpark pour trois modèles de sa famille LFM2.5 : LFM2.5-1.2B-Instruct, LFM2.5-2.6B et LFM2.5-8B-A1B. Ces générateurs de brouillons ajoutent un chemin de décodage spéculatif aux modèles cibles existants, permettant à un brouillon d'environ 300 millions de paramètres de proposer un bloc de neuf tokens candidats que le modèle cible vérifie en un seul passage avant.

lab Liquid AI · il y a 4 j · 15 vues

Liquid AI publie les modèles brouillés DSpark pour LFM2.5 afin d'accélérer l'inférence

Liquid AI a publié des points de contrôle de modèles brouillés pour sa famille LFM2.5 — spécifiquement LFM2.5-1.2B-Instruct, LFM2.5-2.6B et LFM2.5-8B-A1B — qui utilisent le décodage spéculatif pour améliorer considérablement la vitesse d'inférence sans compromettre la qualité de sortie.