저자들은 CtrlVTON이라는 프레임워크를 소개합니다. 이는 가상 피팅에서의 사용자 제어 부족 문제를 해결하기 위해 작업을 픽셀 수준 분할 마스크를 사용한 이미지 편집으로 재정의합니다. 이 접근 방식을 통해 사용자는 의류의 크기, 스타일 및 신체 상의 공간적 배치를 지정할 수 있습니다.
- 시스템은 VIP-SAM을 통해 시각적 인스턴스 프롬프트 분할을 정의하여 평면 이미지에서 특정 의류 인스턴스를 인물로 분할합니다.
- CtrlVTON은 이러한 마스크를 사용하여 의류를 안으로 넣었는지 열려 있는지와 같은 레이아웃 세부 사항을 제어합니다.
- VIP-SAM과 CtrlVTON 모두 각 작업에서 최상위 성능을 달성했습니다.
- 생성된 이미지는 의류 충실도 측면에서 독점 편집 시스템과 동등하지만, 사용자가 제공한 레이아웃을 더 정확하게 따릅니다.
이 연구는 의류가 어떻게 착용되는지에 대한 정밀한 제어를 통해 현실적인 의류 전송 방법을 제공합니다.