Extreme-Adaptive Transformer (Exformer)는 시계열 데이터에서 정상 및 극단적 사건 모두에 관련된 시간적 종속성을 명시적으로 모델링하도록 설계된 새로운 예측 프레임워크입니다.

  • Exformer는 Local, Stride, Extreme의 세 가지 희소 구성 요소로 구성된 극한 적응 어텐션 메커니즘을 활용합니다.
  • Local 및 Stride 구성 요소는 각각 단기 및 주기적 시간적 종속성을 포착합니다.
  • Extreme 구성 요소는 정상 및 극단적인 유량 패턴 간에 사건 인식 종속성을 선택적으로 모델링합니다.
  • Exformer는 최첨단 기준선과 비교하여 4개의 실제 세계 수문학적 유량 데이터셋에서 3일 예측 성능에서 우수한 결과를 달성했습니다.

이 결과는 희귀하지만 중요한 사건이 있는 불균형한 시계열에서 Transformer 모델의 예측 능력을 향상시키기 위해 극단 사건 인식 어텐션을 명시적으로 통합하는 것이 효과적임을 보여줍니다.