研究人员在视频扩散模型中发现了“串行性差距”,即在多球硬球动力学模拟期间,随着因果链的延长,性能会下降。受控实验表明,这种下降是由依赖事件结构引起的,而不是视频长度,因为在没有交互的单球控制中这种现象消失了。

  • 尽管增加了去噪步骤,标准的双向视频扩散无法随更长的因果链进行扩展。
  • 增加有效串行计算的方法(如自回归生成和架构深度)不成比例地提高了性能。
  • 该研究证明,确定性视频预测的去噪步骤不会在骨干网络之外增加串行计算。

这一发现表明,在使用视频扩散模型处理需要串行推理和模拟的任务时存在结构性障碍。