Los investigadores presentan Text2Sign, un modelo de difusión condicionado por texto diseñado para generar clips cortos de lenguaje de signos en una única GPU NVIDIA L4, abordando los altos costos asociados con el entrenamiento y la evaluación de modelos de difusión de vídeo. El sistema combina un codificador de texto visión-lenguaje congelado con un codificador-decodificador 3D y atención espacial-temporal factorizada para reducir los requisitos computacionales mientras se preserva la coherencia del movimiento.
- En una división How2Sign con firmantes disjuntos, la mejor ablación a corto plazo alcanzó una pérdida de validación de 0.0648, mientras que un punto de control a largo plazo logró 0.00999.
- El punto de control a largo plazo obtuvo un SSIM de $0.2403 \pm 0.0238$, un PSNR de $15.11 \pm 0.42$ dB y una consistencia temporal de $1.0000 \pm 0.0000$ utilizando muestreo DDIM de 8 pasos.
- El modelo genera un clip de 32 fotogramas, de $64 \times 64$, en 12.60 segundos (2.54 fotogramas por segundo) con un uso máximo de memoria de inferencia de 3.12 GB.
- Una auditoría de denoising con datos retenidos reveló una sensibilidad débil a los prompts, donde eliminar el texto aumentó la pérdida en pasos tardíos de 0.9875 a 0.9891 y los prompts desordenados tuvieron un rendimiento similar al de los correctos.
Los autores caracterizan Text2Sign como una línea base de investigación con una sola GPU en lugar de un sistema de producción completo debido a su restricción a clips de baja resolución y cortos, así como a la falta de evaluación lingüística por expertos.