Экстремально-адаптивный трансформер (Exformer) — это новая структура прогнозирования, предназначенная для явного моделирования временных зависимостей, включающих как обычные, так и экстремальные события в данных временных рядов.
- Exformer использует механизм экстремально-адаптивного внимания, состоящий из трех разреженных компонентов: Local, Stride и Extreme.
- Компоненты Local и Stride захватывают краткосрочные и периодические временные зависимости соответственно.
- Компонент Extreme избирательно моделирует зависимость от событий между паттернами обычного и экстремального стока.
- Exformer демонстрирует превосходную производительность прогнозирования на 3 дня на четырех реальных наборах данных гидрологического стока по сравнению с современными базовыми моделями.
Результаты показывают, что явное включение внимания, учитывающего экстремальные события, улучшает способность моделей Transformer к прогнозированию несбалансированных временных рядов с редкими, но значимыми событиями.