Para penulis memperkenalkan CtrlVTON, sebuah kerangka kerja yang mengatasi kurangnya kontrol pengguna dalam try-on virtual dengan mengubah tugas ini menjadi pengeditan gambar dengan mask segmentasi tingkat piksel. Pendekatan ini memungkinkan pengguna menentukan ukuran pakaian, gaya, dan penempatan spasial pada tubuh.
- Sistem mendefinisikan Segmentasi Prompt-Instan Visual melalui VIP-SAM untuk memisahkan instans pakaian tertentu dari gambar flatlay ke seseorang.
- CtrlVTON menggunakan mask ini untuk mengontrol detail tata letak seperti apakah pakaian dimasukkan atau terbuka.
- Baik VIP-SAM maupun CtrlVTON mencapai hasil state-of-the-art pada tugas masing-masing.
- Gambar yang dihasilkan mengikuti tata letak yang disediakan pengguna lebih setia dibandingkan sistem pengeditan proprietari, sambil tetap setara dalam kesetiaan pakaian.
Karya ini menyediakan metode untuk transfer pakaian yang realistis dengan kontrol presisi atas bagaimana pakaian dikenakan.