Les auteurs présentent CtrlVTON, un cadre qui comble le manque de contrôle utilisateur dans l'essayage virtuel en reformulant la tâche comme une édition d'image avec des masques de segmentation au niveau des pixels. Cette approche permet aux utilisateurs de spécifier la taille du vêtement, le style et le placement spatial sur le corps.
- Le système définit la Segmentation par Invite d'Instance Visuelle via VIP-SAM pour segmenter des instances de vêtements spécifiques à partir d'images en vue de dessus vers une personne.
- CtrlVTON utilise ces masques pour contrôler les détails de mise en page, tels que si le vêtement est rentré ou ouvert.
- VIP-SAM et CtrlVTON atteignent tous deux des résultats de pointe sur leurs tâches respectives.
- Les images générées suivent plus fidèlement les mises en page fournies par l'utilisateur que les systèmes d'édition propriétaires, tout en leur étant égales en fidélité du vêtement.
Ce travail fournit une méthode pour un transfert réaliste de vêtements avec un contrôle précis sur la manière dont les vêtements sont portés.