Авторы представляют CtrlVTON, фреймворк, который решает проблему отсутствия контроля со стороны пользователя в виртуальной примерке, переосмысливая задачу как редактирование изображений с использованием масок сегментации на уровне пикселей. Этот подход позволяет пользователям задавать размер одежды, стиль и пространственное размещение на теле.
- Система определяет Сегментацию по визуальным инстанс-промптам через VIP-SAM для выделения конкретных экземпляров одежды из плоских изображений и наложения их на человека.
- CtrlVTON использует эти маски для управления деталями компоновки, такими как заправлена ли одежда или оставлена открытой.
- Как VIP-SAM, так и CtrlVTON достигают лучших результатов в своих задачах.
- Сгенерированные изображения точнее следуют заданным пользователем компоновкам по сравнению с проприетарными системами редактирования, сохраняя при этом сопоставимое качество передачи одежды.
Эта работа предоставляет метод реалистичной передачи одежды с точным контролем того, как она носится.