media Hugging Face Forums · il y a 1 h · open_models

Attention linéaire causale O(N) à portes de décroissance open-source avec noyau Triton fusionné

Traduit de English → Français

Un développeur a mis en open-source une architecture d'attention linéaire causale O(N) à portes de décroissance, dotée de noyaux d'accumulation d'état Triton/CUDA fusionnés conçus pour contourner les goulots d'étranglement de l'attention multi-têtes quadratique.

Mise à l'échelle du contexte : séquence de contexte 128K exécutée en 108,78 ms avec <185 Mo de VRAM sur NVIDIA T4.
Accélération par noyau : le noyau Triton fusionné offre un gain de vitesse de 3,60x par rapport à l'implémentation standard de PyTorch.
Protection de la précision : utilise un accumulateur maître FP32 + normalisation RMS pour prévenir le débordement des gradients FP16/BF16 lors de l'entraînement sur de longs contextes.
Précision de la récupération : a réussi le benchmark Needle-In-A-Haystack (NIAH) 16K avec un SNR de 1,89x.

L'auteur sollicite des retours sur l'intégration du modèle dans Hugging Face Transformers ou sur la réalisation de comparaisons de benchmarks avec les modèles linéaires existants.

Importance 1/3 Confiance 1/3 Hugging Face Forums Inference efficiency Research paper

Lire l'original

Articles similaires

media Hugging Face Forums · il y a 6 j

Jason Van Pham documente la dégénérescence gourmande multi-tours de Gemma 4 sous contraintes au niveau des lettres

Jason Van Pham et l'ingénieur collaboratif Grok (xAI) ont publié un rapport de diagnostic détaillant un mode de défaillance quasi standard en multi-tours dans le cadre Hydrodynamic Swarm lors de l'utilisation d'un chemin instruct personnalisé pour Gemma 4. L'étude identifie que la combinaison du décodage gourmand avec des budgets de tokens longs et des contraintes au niveau des lettres déclenche une dégénérescence classique du texte, incluant des répétitions et des perturbations orthographiques.

arxiv arXiv cs.CL · il y a 8 j · 2 vues

PIVOT partage les scans de préfixe entre groupes de requêtes pour accélérer l'attention sparse au niveau des tokens

PIVOT (Proxy Indexing Via One full-prefix Traversal) est un remplacement plug-in sans entraînement pour l'indexeur DeepSeek Sparse Attention (DSA) qui réduit la redondance computationnelle en partageant un seul scan de préfixe entre un groupe de requêtes proches. Au lieu de scorer chaque token précédent pour chaque requête individuellement, PIVOT agrège le groupe en une seule requête proxy pour obtenir un ensemble de candidats, à partir duquel les top-k tokens sont sélectionnés pour chaque requête.

arxiv arXiv cs.CL · il y a 19 j

ShortOPD récupère les LLMs élagués par distillation on-policy courte-longue

Les auteurs proposent ShortOPD, un calendrier de distillation on-policy courte-longue conçu pour récupérer les capacités génératives des grands modèles de langage (LLM) élagués de manière structurée qui s'effondrent lors de la génération libre. En détectant les suffixes répétitifs confirmés par le professeur et en traitant le préfixe survivant comme la longueur effective de rollout, la méthode alloue le budget d'entraînement plus efficacement que les approches standard.

arxiv arXiv cs.CL · il y a 19 j

Le filtrage adaptatif corrige le biais de rôle structurel dans l'éviction du cache KV des LLM

L'article diagnostique comment les méthodes d'éviction du cache KV basées sur l'attention, comme H2O, retiennent de manière disproportionnée le bruit sur les entrails denses en schéma, telles que le JSON imbriqué, où les jetons structurels portent significativement plus d'énergie que les jetons de contenu. Ce biais provoque un effondrement de la précision d'exact-match de 88 % à 0 % avec un budget de 5 %, dû à la rétention excessive des jetons KEY par rapport aux jetons VALUE.

media r/LocalLLaMA · il y a 20 j

Un chercheur indépendant lance Wave Field LLM, remplaçant l'attention par produit scalaire par une convolution d'onde FFT

Un chercheur indépendant a présenté Wave Field LLM, une nouvelle architecture de modèle de base pour la complétion qui remplace l'attention standard par produit scalaire O(N²) par une convolution d'onde FFT. Cette approche permet une vitesse et une utilisation mémoire constantes lors de l'inférence, indépendamment de la longueur du contexte, permettant des fenêtres de contexte de 128K là où l'attention standard manque généralement de mémoire.