media r/LocalLLaMA · il y a 48 j · open_models

Bonsai 27B : Le premier modèle de classe 27B à fonctionner sur un téléphone

Traduit de English → Français

L'article présente Bonsai 27B, décrit comme le premier modèle de sa catégorie capable de fonctionner sur un téléphone mobile.

Aucun détail supplémentaire ou fonctionnalité spécifique n'est fourni dans le texte source.

Importance 1/3 r/LocalLLaMA Inference efficiency Open weights

Lire l'original

Quantization-Aware Healing : un modèle compressé en 4 bits qui surpasse son original en précision complète

L'article présente Quantization-Aware Healing, une méthode pour créer un modèle compressé en 4 bits qui atteint des performances supérieures à celles de son original en précision complète.

media r/LocalLLaMA · il y a 7 j · 7 vues

Facebook lance MobileMoE, une famille de modèles de langage MoE pour appareils mobiles

Meta a publié MobileMoE, une collection de modèles de langage Mixture-of-Experts (MoE) pour appareils mobiles conçus pour optimiser le compromis qualité-efficacité sur les appareils mobiles. La famille comprend trois échelles de modèles avec des paramètres actifs sous le milliard et des empreintes de poids inférieures à 3 Go au format INT4.

arxiv arXiv cs.LG · il y a 8 j · 15 vues

Quantization-Aware Healing récupère les LLM 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), un pipeline qui distille des étudiants 4 bits directement depuis des modèles non compressés pour récupérer la performance perdue lors de la compression structurelle et de la quantification. Appliqué à GPT-OSS 120B, cette méthode produit Hypernova-60B, qui égale ou bat la source bfloat16 sur 7 des 9 benchmarks tout en utilisant environ 4 fois moins de mémoire de poids.

arxiv arXiv cs.CL · il y a 8 j · 15 vues

Quantization-Aware Healing récupère les LLMs 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), une méthode pour récupérer les capacités de raisonnement et de codage dans des modèles de langage larges de 4 bits structurellement compressés. Contrairement à l'entraînement conscient de la quantification standard qui réadapte le modèle compressé, QAH distille l'étudiant 4 bits directement depuis le modèle original non compressé.

media Hugging Face Forums · il y a 9 j · 6 vues

Xyntetik Runner entraîne des LoRA directement à partir de poids GGUF quantifiés

Joakimpalm-Zen a mis à jour Xyntetik Runner pour entraîner des adaptateurs LoRA directement en utilisant les mêmes poids GGUF quantifiés qu'il sert pour l'inférence, éliminant ainsi le besoin d'une copie FP16 séparée pour l'entraînement ou d'un runtime dédié.