media Hugging Face Forums · il y a 4 j · open_models

Une revue de littérature trouve que les économies de compression sont faiblement corrélées à l'énergie mesurée

Traduit de English → Français

Un chercheur indépendant a publié une revue de littérature analysant si les techniques de compression de modèles telles que la quantification, l'élagage et la distillation réduisent réellement la consommation d'énergie mesurée ou abaissent simplement les FLOPs.

La revue s'appuie sur un corpus de 53 travaux de 2019 à 2026.
Les estimateurs d'énergie logiciels et les compteurs matériels (RAPL, NVML) diffèrent par des marges comparables aux économies revendiquées par les méthodes de compression.
Les FLOPs sont faiblement corrélés à l'énergie mesurée une fois la bande passante mémoire, la taille du lot et la réalisation du noyau backend prises en compte.
Les classements de compression sur une plateforme matérielle ne se transfèrent pas de manière fiable vers une autre.

L'auteur partage la revue et les tableaux de données associés sur Zenodo et GitHub, tout en sollicitant un soutien de cs.LG pour publier le travail sur arXiv.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Research paper

Lire l'original

GlucoEdge : prévision des tendances glycémiques sur l'appareil avec quantification INT8

Le chercheur indépendant Mohamed Menasy a publié GlucoEdge, une étude d'ingénierie détaillant un pipeline de machine learning sur l'appareil de bout en bout pour la prévision des tendances glycémiques sur cinq classes et 15 minutes à partir de données de moniteur continu de glucose. Le travail introduit un CNN 1D compact ne contenant que 2 909 paramètres et couvre l'ensemble du workflow, de PyTorch à la conversion LiteRT.

lab Hugging Face Blog · il y a 29 j · 39 vues

Le QAH de Multiverse Computing permet au GPT-OSS en 4 bits de surpasser sa version pleine précision

Multiverse Computing présente Quantization-Aware Healing (QAH), une méthode qui distille des grands modèles de langage compressés et quantifiés directement à partir de leurs enseignants originaux avant compression. Appliquée à un modèle GPT-OSS 120B compressé à 60B paramètres et quantifié en MXFP4, cette approche produit un modèle qui bat sa propre version pleine précision bfloat16 sur 7 des 9 benchmarks.

arxiv arXiv cs.CL · il y a 40 j · 31 vues

Multiplication matricielle réduite : réduction adaptative au niveau de l'entrée pour l'inférence des LLM

Les chercheurs proposent la Multiplication Matricielle Réduite (RMM), une méthode d'inférence sans entraînement et adaptative à l'entrée, qui réduit les produits matriciels des Transformers en sélectionnant des tranches informatives le long des dimensions de contraction, sans modifier les poids du modèle. Sous un contrôle simple du ratio de rétention, RMM offre un compromis précision-efficacité fluide et prévisible pour des modèles linguistiques allant de 1B à 70B paramètres.

lab NVIDIA Research · il y a 43 j · 47 vues

DSTP atténue les échecs de l'élagage des tokens visuels dans le raisonnement complexe des MLLM

Les chercheurs ont identifié le Décalage de l'Information Visuelle Pertinente (RVIS) pendant le décodage comme la cause principale de l'échec des méthodes existantes d'élagage des tokens visuels dans les Modèles de Langage Large Multimodaux (MLLM). Pour remédier à cela, ils proposent l'Élagage de Tokens Aware du Décalage au Stade de Décodage (DSTP), un cadre sans entraînement qui aligne les tokens visuels avec les exigences de raisonnement changeantes.

media Hugging Face Forums · il y a 50 j · 29 vues

Attention linéaire causale O(N) à portes de décroissance open-source avec noyau Triton fusionné

Un développeur a mis en open-source une architecture d'attention linéaire causale O(N) à portes de décroissance, dotée de noyaux d'accumulation d'état Triton/CUDA fusionnés conçus pour contourner les goulots d'étranglement de l'attention multi-têtes quadratique.