Google Research发布了TimesFM-3,这是其零样本时间序列基础模型的第三代。从2.5版本到3的主要更新是原生支持多变量输入,允许模型在不进行微调的情况下处理多个同时的目标和协变量。

  • 架构是一个仅解码器的Transformer,具有20层,使用交替因果注意力和全注意力机制,每个token处理32个连续的时间步。
  • 通过在单次前向传递中同时填充掩码占位符token来生成预测,输出每个目标的9个分位数(第10至90百分位)。
  • 预训练利用了超过1万亿个时间点的数据,来源包括维基百科页面浏览量、Google Trends和合成数据。
  • 该模型在Gift-Eval、FEV-Bench和Time基准测试中声称取得了最佳平均排名,优于Chronos-2、Toto 2.0和TimesFM-2.5。

权重以TimesFM非商业许可v1.0的形式在Hugging Face和GitHub上提供,并计划未来集成BigQuery。