Les chercheurs de NVIDIA présentent ARDY, un framework de génération par streaming conçu pour permettre la synthèse de mouvements humains 3D haute fidélité dans des applications interactives en temps réel. Le système comble le fossé entre la précision hors ligne et la vitesse en ligne en combinant des caractéristiques explicites de la racine avec des embeddings corporels latents.
- Utilise une représentation hybride qui équilibre un contrôle précis de la trajectoire avec un apprentissage génératif efficace.
- Emploie un dénoiseur transformateur autoregressif à deux étapes capable de gérer un contexte d'historique variable.
- Prend en charge le conditionnement sur des contraintes cinématiques flexibles à long terme et des invites textuelles en ligne.
- Entraîné sur des données de capture de mouvement à grande échelle pour apprendre nativement une génération contrôlable.
- Validé sur les benchmarks HumanML3D et Bones Rigplay pour la qualité du mouvement et le respect des contraintes.
Le framework permet aux utilisateurs de contrôler le mouvement via du texte dynamique, des poses de keyframes, le suivi de chemin et la locomotion interactive, ce qui le rend adapté à l'animation, la simulation et la robotique humanoïde.