作者介绍了 CtrlVTON，这是一个解决虚拟试穿中用户控制缺失问题的框架，将任务重新定义为带有像素级分割掩码的图像编辑。这种方法允许用户指定服装的尺寸、风格以及在身体上的空间位置。

  • 该系统通过 VIP-SAM 定义视觉实例提示分割，从平铺图像中将特定服装实例分割到人物上。
  • CtrlVTON 使用这些掩码来控制布局细节，例如衣服是塞进去还是敞开。
  • VIP-SAM 和 CtrlVTON 在其各自的任务中均取得了最先进的结果。
  • 生成的图像比专有编辑系统更忠实地遵循用户提供的布局，同时在服装保真度方面与之相当。

这项工作提供了一种实现逼真服装传输的方法，并能对穿着方式进行精确控制。