arxiv arXiv cs.AI · il y a 2 j · source : il y a 3 j · research

TokenProbe réduit l'utilisation des tokens CoT de 76 % tout en préservant la qualité du raisonnement

Traduit de English → Français

Les chercheurs présentent TokenProbe, un cadre qui traite la consommation élevée de tokens du raisonnement en chaîne (Chain-of-Thought) en exploitant la valeur non uniforme des tokens au sein d'une séquence. La méthode utilise la probabilité logarithmique normalisée pour distinguer les tokens structurels centraux des remplissages redondants, permettant une compression sélective.

TokenProbe identifie les tokens centraux portant un contenu de raisonnement décisif par rapport aux remplissages exploratoires à faible confiance en utilisant des signaux de probabilité logarithmique.
Il introduit un objectif GRPO efficace qui compresse sélectivement les tokens redondants pour améliorer le compromis entre précision et efficacité des tokens.
L'approche réduit l'utilisation des tokens de 76 % par rapport à la ligne de base tout en maintenant la qualité du raisonnement.
Avec des budgets de longueur de raisonnement correspondants, TokenProbe surpasse les lignes de base phares telles que Gemini-3.1-Pro.

Ce travail démontre que la compression des tokens à faible valeur génère des améliorations de Pareto, permettant un raisonnement efficace sans sacrifier les performances.

Importance 2/3 arXiv cs.AI Inference efficiency Research paper

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 11 j · 21 vues

GlucoEdge : prévision des tendances glycémiques sur l'appareil avec quantification INT8

Le chercheur indépendant Mohamed Menasy a publié GlucoEdge, une étude d'ingénierie détaillant un pipeline de machine learning sur l'appareil de bout en bout pour la prévision des tendances glycémiques sur cinq classes et 15 minutes à partir de données de moniteur continu de glucose. Le travail introduit un CNN 1D compact ne contenant que 2 909 paramètres et couvre l'ensemble du workflow, de PyTorch à la conversion LiteRT.

media Hugging Face Forums · il y a 11 j · 35 vues

Une revue de littérature trouve que les économies de compression sont faiblement corrélées à l'énergie mesurée

Un chercheur indépendant a publié une revue de littérature analysant si les techniques de compression de modèles telles que la quantification, l'élagage et la distillation réduisent réellement la consommation d'énergie mesurée ou abaissent simplement les FLOPs.

lab Hugging Face Blog · il y a 36 j · 44 vues

Le QAH de Multiverse Computing permet au GPT-OSS en 4 bits de surpasser sa version pleine précision

Multiverse Computing présente Quantization-Aware Healing (QAH), une méthode qui distille des grands modèles de langage compressés et quantifiés directement à partir de leurs enseignants originaux avant compression. Appliquée à un modèle GPT-OSS 120B compressé à 60B paramètres et quantifié en MXFP4, cette approche produit un modèle qui bat sa propre version pleine précision bfloat16 sur 7 des 9 benchmarks.

arxiv arXiv cs.CL · il y a 48 j · 36 vues

Multiplication matricielle réduite : réduction adaptative au niveau de l'entrée pour l'inférence des LLM

Les chercheurs proposent la Multiplication Matricielle Réduite (RMM), une méthode d'inférence sans entraînement et adaptative à l'entrée, qui réduit les produits matriciels des Transformers en sélectionnant des tranches informatives le long des dimensions de contraction, sans modifier les poids du modèle. Sous un contrôle simple du ratio de rétention, RMM offre un compromis précision-efficacité fluide et prévisible pour des modèles linguistiques allant de 1B à 70B paramètres.

lab NVIDIA Research · il y a 50 j · 51 vues

DSTP atténue les échecs de l'élagage des tokens visuels dans le raisonnement complexe des MLLM

Les chercheurs ont identifié le Décalage de l'Information Visuelle Pertinente (RVIS) pendant le décodage comme la cause principale de l'échec des méthodes existantes d'élagage des tokens visuels dans les Modèles de Langage Large Multimodaux (MLLM). Pour remédier à cela, ils proposent l'Élagage de Tokens Aware du Décalage au Stade de Décodage (DSTP), un cadre sans entraînement qui aligne les tokens visuels avec les exigences de raisonnement changeantes.