研究者らは、テキスト条件付き拡散モデルであるText2Signを発表した。これは1台のNVIDIA L4 GPUで短い手話クリップを生成するために設計されており、動画拡散モデルのトレーニングと評価に伴う高コストに対処する。本システムは、固定されたビジョン言語テキストエンコーダ、3Dエンコーダデコーダ、および因子化された時空間アテンションを組み合わせて、運動の一貫性を保ちつつ計算要件を削減している。

  • signer-disjoint How2Sign分割において、最良の短期間アブレーションは検証損失0.0648に達し、長時間実行のチェックポイントは0.00999を達成した。
  • 長時間実行のチェックポイントは、8ステップDDIMサンプリングを用いて、SSIM $0.2403 \pm 0.0238$、PSNR $15.11 \pm 0.42$ dB、および時間的整合性 $1.0000 \pm 0.0000$ を達成した。
  • モデルは32フレーム、$64 \times 64$ のクリップを12.60秒（秒間2.54フレーム）で生成し、ピーク推論メモリ使用量は3.12 GBである。
  • ホールドアウトされたノイズ除去監査により、プロンプト感度が弱いことが明らかになった。テキストを削除すると後期タイムステップの損失が0.9875から0.9891に増加し、シャッフルされたプロンプトは正解プロンプトと同様の性能を示した。

著者らは、Text2Signを低解像度・短時間クリップへの制限や専門的な言語評価の欠如があるため、完全な生産システムではなく単一GPUの研究ベースラインとして位置づけている。