著者らは、CtrlVTONというフレームワークを発表しました。これは、バーチャル試着におけるユーザー操作の不足に対処するため、タスクをピクセルレベルのセグメンテーションマスクを用いた画像編集として再定義するものです。このアプローチにより、ユーザーは衣類のサイズ、スタイル、身体への配置位置を指定できます。

  • システムは、VIP-SAMによるビジュアルインスタンスプロンプトセグメンテーションを定義し、フラットレイ画像から特定の衣類インスタンスを人物にセグメント化します。
  • CtrlVTONはこれらのマスクを使用して、衣類を詰めるか開くかなどの配置詳細を制御します。
  • VIP-SAMとCtrlVTONの両方とも、それぞれのタスクにおいて最先端の結果を達成しています。
  • 生成された画像は、衣類の忠実度については独自編集システムと同等でありながら、ユーザーが提供したレイアウトをより忠実に反映しています。

本研究は、衣類の着こなし方を精密に制御しながら現実的な衣類転送を行う手法を提供します。