media Hugging Face Forums · il y a 1 h · open_models

Dev-4B combine des décisions rapides calibrées avec une escalation de raisonnement basée sur les risques

Traduit de English → Français

L'auteur a publié Dev-4B, un petit modèle local basé sur Qwen3-4B-Instruct qui répond aux questions tapées sur des documents avec une confiance calibrée. Il utilise un routeur intégré pour décider s'il faut fournir une réponse rapide ou passer à un raisonnement étape par étape uniquement lorsque la prédiction initiale est probablement erronée.

Évalué sur 7 100 questions de test figées, Dev-4B a atteint 81,8 % de précision en 1,37 seconde par question.
Cela dépasse les réponses toujours rapides (76,3 %, 0,16 s/question) et les approches toujours raisonnantes (78,0 %, 10,2 s/question).
Le modèle utilise un adaptateur LoRA activé pour les questions et un routeur minuscule, avec des builds MLX 8 bits disponibles.

L'outil est conçu pour des expériences locales de calibration et de routage hors ligne, en particulier pour les développeurs indie sur Mac.

Importance 1/3 Confiance 1/3 Hugging Face Forums Alibaba (Qwen) Inference efficiency Open weights

Lire l'original

ISTA publie les GGUF GSQ-RCO pour Qwen3.8-Flash-Next et une version Coder élaguée à 50 % d'experts

Le laboratoire Deep Algorithms and Systems d'ISTA a publié des versions quantifiées au format GGUF du modèle sparse mixture-of-experts Qwen3.8-Flash-Next, ainsi qu'une build expérimentale ciblée sur les capacités avec la moitié de ses experts supprimés.

arxiv arXiv cs.LG · il y a 43 j · 71 vues

Quantization-Aware Healing récupère les LLM 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), un pipeline qui distille des étudiants 4 bits directement depuis des modèles non compressés pour récupérer la performance perdue lors de la compression structurelle et de la quantification. Appliqué à GPT-OSS 120B, cette méthode produit Hypernova-60B, qui égale ou bat la source bfloat16 sur 7 des 9 benchmarks tout en utilisant environ 4 fois moins de mémoire de poids.

arxiv arXiv cs.CL · il y a 43 j · 75 vues

Quantization-Aware Healing récupère les LLMs 4 bits plus rapidement que QAT

Les auteurs présentent Quantization-Aware Healing (QAH), une méthode pour récupérer les capacités de raisonnement et de codage dans des modèles de langage larges de 4 bits structurellement compressés. Contrairement à l'entraînement conscient de la quantification standard qui réadapte le modèle compressé, QAH distille l'étudiant 4 bits directement depuis le modèle original non compressé.

media r/LocalLLaMA · il y a 52 j · 48 vues

Qwen publie les poids ouverts pour Qwen 3.8 27B

Qwen a publié les poids ouverts pour son modèle Qwen 3.8 27B. Le checkpoint est disponible sur Hugging Face.

media MarkTechPost · il y a 80 j · 92 vues

PrismML publie Bonsai 27B, compressant Qwen3.6-27B en poids 1-bit et ternaires

PrismML a publié Bonsai 27B, une quantification basse précision du modèle Qwen3.6-27B qui permet d'exécuter de grands modèles multimodaux sur des ordinateurs portables et des téléphones sans réentraînement.