Les chercheurs présentent Text2Sign, un modèle de diffusion conditionné par du texte conçu pour générer de courts extraits de langue des signes sur un seul GPU NVIDIA L4, afin de réduire les coûts élevés associés à l'entraînement et à l'évaluation des modèles de diffusion vidéo. Le système combine un encodeur de texte vision-langue figé avec un encodeur-décoder 3D et une attention spatio-temporelle factorisée pour diminuer les exigences computationnelles tout en préservant la cohérence du mouvement.
- Sur un split How2Sign disjoint des signeurs, la meilleure ablation à court terme a atteint une perte de validation de 0,0648, tandis qu'un checkpoint à long terme a obtenu 0,00999.
- Le checkpoint plus long a atteint un SSIM de $0,2403 \pm 0,0238$, un PSNR de $15,11 \pm 0,42$ dB et une cohérence temporelle de $1,0000 \pm 0,0000$ en utilisant l'échantillonnage DDIM en 8 étapes.
- Le modèle génère un extrait de 32 images de taille $64 \times 64$ en 12,60 secondes (2,54 images par seconde) avec une utilisation maximale de mémoire d'inférence de 3,12 Go.
- Un audit de débruitage sur un ensemble réservé a révélé une sensibilité faible aux prompts : la suppression du texte a augmenté la perte aux derniers pas de temps de 0,9875 à 0,9891, et les prompts mélangés ont obtenu des performances similaires à celles des prompts corrects.
Les auteurs caractérisent Text2Sign comme une base de recherche mono-GPU plutôt que comme un système de production complet, en raison de sa limitation aux extraits courts et basse résolution ainsi que de l'absence d'évaluation linguistique par des experts.