Os autores apresentam o CtrlVTON, um framework que aborda a falta de controle do usuário na prova virtual ao reformular a tarefa como edição de imagens com máscaras de segmentação em nível de pixel. Esta abordagem permite aos usuários especificar o tamanho da roupa, estilo e posicionamento espacial no corpo.
- O sistema define Segmentação por Prompt de Instância Visual via VIP-SAM para segmentar instâncias específicas de roupas de imagens flatlay sobre uma pessoa.
- O CtrlVTON usa essas máscaras para controlar detalhes do layout, como se a roupa está enfiada ou aberta.
- Tanto o VIP-SAM quanto o CtrlVTON alcançam resultados de estado da arte em suas respectivas tarefas.
- As imagens geradas seguem mais fielmente os layouts fornecidos pelo usuário do que sistemas proprietários de edição, enquanto igualam a fidelidade das roupas.
Este trabalho fornece um método para transferência realista de roupas com controle preciso sobre como a roupa é vestida.