연구자들은 Text2Sign을 제시했는데, 이는 짧은 수화 클립을 단일 NVIDIA L4 GPU에서 생성하도록 설계된 텍스트 조건부 디퓨전 모델로, 비디오 디퓨전 모델의 학습 및 평가와 관련된 높은 비용을 해결한다. 이 시스템은 고정된 비전-언어 텍스트 인코더, 3D 인코더-디코더, 그리고 분할된 시공간 어텐션을 결합하여 연산 요구사항을 줄이면서 운동 일관성을 유지한다.

  • 서명자 분리 How2Sign 분할에서 가장 짧은 기간의 아블레이션은 검증 손실 0.0648에 도달했으며, 더 긴 기간의 체크포인트는 0.00999를 달성했다.
  • 더 긴 체크포인트는 8단계 DDIM 샘플링을 사용하여 SSIM $0.2403 \pm 0.0238$, PSNR $15.11 \pm 0.42$ dB, 그리고 시간적 일관성 $1.0000 \pm 0.0000$을 달성했다.
  • 모델은 32프레임, $64 \times 64$ 클립을 12.60초(초당 2.54 프레임)에 생성하며, 최대 추론 메모리 사용량은 3.12 GB이다.
  • 홀드아웃 디노이징 감사 결과 약한 프롬프트 민감도가 드러났으며, 텍스트를 제거하면 후기 시간 단계 손실이 0.9875에서 0.9891로 증가했고 섞인 프롬프트는 올바른 프롬프트와 유사하게 수행되었다.

저자들은 Text2Sign을 낮은 해상도와 짧은 클립으로 제한되고 전문가 언어 평가가 부족하기 때문에 완전한 프로덕션 시스템이 아닌 단일 GPU 연구 베이스라인으로 특징짓는다.