Extreme-Adaptive Transformer (Exformer) は、時系列データにおける通常事象と極端事象の両方に関わる時間的依存関係を明示的にモデル化するために設計された新しい予測フレームワークです。

  • Exformerは、Local、Stride、Extremeの3つの疎なコンポーネントで構成される極限適応アテンションメカニズムを利用します。
  • LocalコンポーネントとStrideコンポーネントは、それぞれ短期間および周期的な時間的依存関係を捉えます。
  • Extremeコンポーネントは、通常の流れパターンと極端な流れパターンの間の事象認識依存関係を選択的にモデル化します。
  • Exformerは、最先端のベースラインと比較して、4つの実世界の水文流量データセットにおいて3日間の予測性能で優れた結果を達成しました。

この知見は、極端事象を認識するアテンションを明示的に組み込むことが、稀だが重大な事象を含む不均衡な時系列におけるTransformerモデルの予測能力を向上させることを示しています。