Os pesquisadores apresentam o Text2Sign, um modelo de difusão condicionado por texto projetado para gerar clipes curtos de linguagem de sinais em uma única GPU NVIDIA L4, abordando os altos custos associados ao treinamento e à avaliação de modelos de difusão de vídeo. O sistema combina um codificador de texto vision-language congelado com um codificador-decodificador 3D e atenção espaciotemporal fatorizada para reduzir os requisitos computacionais enquanto preserva a coerência do movimento.
- Em uma divisão How2Sign com assinantes disjuntos, a melhor ablação de curto prazo atingiu uma perda de validação de 0,0648, enquanto um checkpoint de longo prazo alcançou 0,00999.
- O checkpoint de longo prazo obteve um SSIM de $0,2403 \pm 0,0238$, um PSNR de $15,11 \pm 0,42$ dB e consistência temporal de $1,0000 \pm 0,0000$ usando amostragem DDIM de 8 etapas.
- O modelo gera um clipe de 32 quadros, $64 \times 64$, em 12,60 segundos (2,54 quadros por segundo) com um uso máximo de memória de inferência de 3,12 GB.
- Uma auditoria de denoising em dados não vistos revelou sensibilidade fraca ao prompt, com a remoção do texto aumentando a perda no timestep tardio de 0,9875 para 0,9891 e prompts embaralhados performando de maneira semelhante aos corretos.
Os autores caracterizam o Text2Sign como uma linha de base de pesquisa para uma única GPU em vez de um sistema de produção completo devido à sua restrição a clipes de baixa resolução e curta duração e à falta de avaliação linguística por especialistas.