研究人员提出了Text2Sign，这是一种文本条件扩散模型，旨在在单个NVIDIA L4 GPU上生成短手语片段，以解决训练和评估视频扩散模型所带来的高昂成本。该系统将冻结的视觉-语言文本编码器与3D编码器-解码器以及分解的空时注意力相结合，在保持运动连贯性的同时降低计算需求。

  • 在签名者不相交的How2Sign划分上，最佳短期消融实验达到了0.0648的验证损失，而长期运行的检查点达到了0.00999。
  • 该长期检查点在使用8步DDIM采样时，SSIM达到$0.2403 \pm 0.0238$，PSNR达到$15.11 \pm 0.42$ dB，时间一致性为$1.0000 \pm 0.0000$。
  • 该模型在12.60秒内生成一个32帧、$64 \times 64$的片段（每秒2.54帧），峰值推理内存使用量为3.12 GB。
  • 对保留测试集的去噪审计揭示了较弱的提示敏感性，移除文本使晚期时间步损失从0.9875增加到0.9891，而打乱的提示表现与正确提示相似。

作者将Text2Sign定位为单GPU研究基线而非完整的生产系统，原因是其仅限于低分辨率、短片段，且缺乏专家级的语言学评估。