L'Extreme-Adaptive Transformer (Exformer) est un nouveau cadre de prévision conçu pour modéliser explicitement les dépendances temporelles impliquant à la fois des événements normaux et extrêmes dans les données de séries temporelles.
- Exformer utilise un mécanisme d'attention adaptative extrême composé de trois composants clairsemés : Local, Stride et Extreme.
- Les composants Local et Stride capturent respectivement les dépendances temporelles à court terme et périodiques.
- Le composant Extreme modélise sélectivement les dépendances conscientes des événements entre les régimes d'écoulement normaux et extrêmes.
- Exformer atteint des performances de prévision supérieures sur 3 jours sur quatre ensembles de données réels d'écoulement hydrologique par rapport aux références de pointe.
Les résultats montrent que l'intégration explicite d'une attention consciente des événements extrêmes améliore la capacité de prévision des modèles Transformer sur des séries temporelles déséquilibrées avec des événements rares mais conséquents.