Исследователи представляют Text2Sign, диффузионную модель с текстовой условной обработкой, предназначенную для генерации коротких клипов жестового языка на одном GPU NVIDIA L4, что позволяет снизить высокие затраты, связанные с обучением и оценкой видео-диффузионных моделей. Система объединяет замороженный текст-энкодер зрения и языка с 3D энкодером-декодером и факторизованным пространственно-временным вниманием для снижения вычислительных требований при сохранении когерентности движения.
- На разделенном по подписантам How2Sign лучшая краткосрочная абляция достигла валидационной ошибки 0.0648, тогда как контрольная точка долгосрочного обучения достигла 0.00999.
- Долгосрочная контрольная точка достигла SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ дБ и временной согласованности $1.0000 \pm 0.0000$ при использовании 8-шаговой выборки DDIM.
- Модель генерирует клип из 32 кадров размером $64 \times 64$ за 12,60 секунды (2,54 кадра в секунду) с пиковым использованием памяти во время вывода 3,12 ГБ.
- Проверка на отложенной выборке выявила слабую чувствительность к подсказкам: удаление текста увеличило ошибку на поздних временных шагах с 0.9875 до 0.9891, а перемешанные подсказки работали аналогично правильным.
Авторы характеризуют Text2Sign как исследовательскую базовую модель для одного GPU, а не как полноценную производственную систему из-за ее ограничения низкокачественными короткими клипами и отсутствия экспертной лингвистической оценки.