Un chercheur présente BCMT, une nouvelle architecture pour la modélisation du langage sur de longs contextes, qui remplace l'auto-attention globale dense par des opérations par blocs. Le modèle combine l'attention causale locale avec des résumés contextuels adaptatifs et une propagation de mémoire causale pour capturer efficacement les dépendances à longue portée.
- La complexité computationnelle est réduite de O(T²) à O(TL) pour une taille de bloc fixe.
- L'implémentation comprend l'architecture complète, une ablation H-only et une ligne de base Transformer standard.
- Les expériences sur WikiText-103 montrent des perplexités de validation proches de celles des Transformers denses, avec un débit plus élevé et une utilisation mémoire GPU inférieure.
Le projet est open source, fournissant du code PyTorch et des scripts d'entraînement pour examen par la communauté.