Исследователи представляют структуру-осознанный фреймворк для музыки-управляемой генерации танца, который моделирует хореографию как последовательность атомарных движений, а не непрерывных сигналов.

  • Метод строит словарь атомарных движений путем сегментации крупномасштабных данных о танцах и кластеризации их в группы.
  • Большая языковая модель используется для семантической переобозначения и уточнения этих кластеров, создавая интерпретируемые и повторно используемые события движения.
  • Двухэтапный процесс генерации отражает человеческую хореографию: сначала предсказывая тип, продолжительность и тайминг движений для формирования символического распределения, затем синтезируя плавное движение через генератор, учитывающий переходы.
  • Эксперименты показывают улучшенную структурную связность, ритмическое выравнивание и перцептивную естественность по сравнению с базовыми методами, а также повышенную интерпретируемость и контролируемое редактирование.

Этот подход решает проблему отсутствия композиционной структуры в предыдущих нейронных методах, делая генерируемые танцы более контролируемыми и семантически согласованными с входной музыкой.