Les chercheurs proposent le Transformateur à Mémoire Récurrente Associative (ARMT) pour permettre le traitement de contextes longs dans les grands modèles de langage tout en atteignant une mise à l'échelle constante de la mémoire et une efficacité améliorée.
- Le travail introduit deux ensembles de données de contexte long spécifiques au domaine pour évaluer des scénarios d'ajustement fin réaliste dans un domaine étroit.
- Une recette d'entraînement complète est fournie, combinant le pré-entraînement continu, la génération de données synthétiques, l'apprentissage par curriculum et l'intégration sélective de la mémoire associative dans des couches spécifiques du modèle.
- Les modèles augmentés par ARMT traitent les entrées bien au-delà des limites de contexte originales sans dégradation des performances par rapport aux références en limite.
- L'approche se généralise plus efficacement aux longueurs de contexte hors distribution.
- Les modèles nécessitent 30 % de FLOPs en moins tout en préservant la performance de référence dans la fenêtre de contexte originale.
Cette méthode permet aux LLM de gérer des entrées plus longues efficacement, répondant ainsi aux contraintes de calcul quadratique et de mise à l'échelle linéaire de la mémoire des transformateurs standards.