Para peneliti menyajikan Text2Sign, model difusi yang dikondisikan oleh teks dan dirancang untuk menghasilkan klip bahasa isyarat pendek pada satu GPU NVIDIA L4, mengatasi biaya tinggi yang terkait dengan pelatihan dan evaluasi model difusi video. Sistem ini menggabungkan pengode teks visi-bahasa yang dibekukan dengan pengode-pengurai 3D serta perhatian spasiotemporal terfaktorisasi untuk mengurangi kebutuhan komputasi sambil mempertahankan koherensi gerakan.
- Pada pemisahan How2Sign yang terpisah dari penanda, ablasi jangka pendek terbaik mencapai kerugian validasi sebesar 0.0648, sementara titik pemeriksaan jangka panjang mencapai 0.00999.
- Titik pemeriksaan jangka panjang mencapai SSIM sebesar $0.2403 \pm 0.0238$, PSNR sebesar $15.11 \pm 0.42$ dB, dan konsistensi temporal sebesar $1.0000 \pm 0.0000$ menggunakan pengambilan sampel DDIM 8 langkah.
- Model menghasilkan klip berdurasi 32 frame dengan resolusi $64 \times 64$ dalam 12,60 detik (2,54 frame per detik) dengan penggunaan memori inferensi puncak sebesar 3,12 GB.
- Audit denoising pada data yang diisolasi mengungkapkan sensitivitas prompt yang lemah, di mana penghapusan teks meningkatkan kerugian pada langkah waktu akhir dari 0,9875 menjadi 0,9891 dan prompt yang diacak berkinerja serupa dengan yang benar.
Para penulis mengkarakterisasi Text2Sign sebagai baseline penelitian GPU tunggal daripada sistem produksi lengkap karena keterbatasannya pada klip resolusi rendah dan durasi pendek serta kurangnya evaluasi linguistik oleh ahli.