연구자들은 안무를 연속 신호가 아닌 원자적 움직임의 시퀀스로 모델링하는 음악 구동 댄스 생성을 위한 구조 인식 프레임워크를 제시했다.
- 이 방법은 대규모 댄스 데이터를 분할하고 클러스터링하여 원자적 움직임 어휘를 구축한다.
- 대형 언어 모델을 사용하여 이러한 클러스터를 의미적으로 재라벨링하고 정제하여 해석 가능하고 재사용 가능한 모션 이벤트를 생성한다.
- 두 단계 생성 과정은 인간의 안무를 모방한다: 먼저 움직임의 유형, 지속 시간, 타이밍을 예측하여 기호적 할당을 형성한 후, 전이 인식 생성기를 통해 부드러운 모션을 합성한다.
- 실험 결과, 베이스라인과 비교하여 구조적 일관성, 리듬 정렬 및 지각적 자연성이 향상되었으며, 해석 가능성과 제어 가능한 편집도 강화되었다.
이 접근 방식은 기존 신경망 방법의 구성적 구조 부재를 해결하여 생성된 댄스를 더 쉽게 제어하고 입력 음악과 의미적으로 일관되게 만든다.