구글 리서치가 제로샷 시계열 파운데이션 모델의 세 번째 세대인 TimesFM-3를 출시했습니다. 버전 2.5에서 주요 업데이트된 점은 미세 조정 없이 여러 동시 타겟과 공변량을 처리할 수 있는 네이티브 다변량 입력 지원입니다.
- 아키텍처는 디코더 전용 트랜스포머로, 20개의 레이어를 가지며 교차 인과적 주의와 전체 주의 메커니즘을 사용하여 토큰당 32개의 연속적인 시간 단계를 처리합니다.
- 예측은 마스킹된 플레이스홀더 토큰을 동시에 채워넣는 단일 순전파로 생성되며, 각 타겟당 9개 양자화(10~90 백분위)를 출력합니다.
- 사전 학습에는 위키백과 페이지뷰, 구글 트렌드 및 합성 데이터를 포함한 1조 개 이상의 시간 포인트가 활용되었습니다.
- 이 모델은 Chronos-2, Toto 2.0, TimesFM-2.5와 비교하여 Gift-Eval, FEV-Bench, Time 벤치마크에서 평균 순위 최상을 주장합니다.
가중치는 Hugging Face와 GitHub에서 TimesFM Non-Commercial License v1.0 하에 제공되며, 향후 BigQuery 통합이 계획되어 있습니다.