Los investigadores presentan un marco consciente de la estructura para la generación de baile impulsada por música que modela la coreografía como una secuencia de movimientos atómicos en lugar de señales continuas.
- El método construye un vocabulario de movimientos atómicos segmentando datos de baile a gran escala y agrupándolos en clusters.
- Se utiliza un modelo de lenguaje grande para relevar semánticamente y refinar estos clusters, creando eventos de movimiento interpretables y reutilizables.
- Un proceso de generación en dos etapas refleja la coreografía humana: primero prediciendo el tipo, duración y temporización de los movimientos para formar una asignación simbólica, luego sintetizando un movimiento suave mediante un generador consciente de las transiciones.
- Los experimentos muestran una coherencia estructural mejorada, alineación rítmica y naturalidad perceptual en comparación con las líneas base, junto con una interpretabilidad mejorada y edición controlable.
Este enfoque aborda la falta de estructura composicional en los métodos neuronales anteriores, haciendo que los bailes generados sean más fáciles de controlar y semánticamente consistentes con la música de entrada.