Les chercheurs présentent un cadre conscient de la structure pour la génération de danse pilotée par la musique, qui modélise la chorégraphie comme une séquence de mouvements atomiques plutôt que des signaux continus.
- La méthode construit un vocabulaire de mouvements atomiques en segmentant des données de danse à grande échelle et en les regroupant en clusters.
- Un grand modèle de langage est utilisé pour relabeliser sémantiquement et affiner ces clusters, créant ainsi des événements de mouvement interprétables et réutilisables.
- Un processus de génération en deux étapes reflète la chorégraphie humaine : d'abord prédire le type, la durée et le timing des mouvements pour former une allocation symbolique, puis synthétiser un mouvement fluide via un générateur conscient des transitions.
- Les expériences montrent une cohérence structurelle, un alignement rythmique et une naturalité perceptive améliorés par rapport aux méthodes de base, ainsi qu'une interprétabilité accrue et une édition contrôlable.
Cette approche comble le manque de structure compositionnelle dans les méthodes neurales précédentes, rendant les danses générées plus faciles à contrôler et sémantiquement cohérentes avec la musique d'entrée.