शोधकर्ताओं ने Wan-Dancer पेश किया है, एक पदानुक्रमित ढांचा जो संगीत के साथ समकालिक लंबी अवधि और उच्च परिभाषा वाले नृत्य वीडियो उत्पन्न करता है। सिस्टम जनरेशन को वैश्विक की-फ्रेम योजना और स्थानीय कालिक सुधार में अलग करके डिफ्यूजन मॉडल की सामान्य 20-सेकंड की सीमा को पार करता है।
- दीर्घकालिक सहसंबद्धता सुनिश्चित करने के लिए पूर्ण-ट्रैक संगीत संदर्भ का लाभ उठाता है।
- सटीक एलाइनमेंट के लिए समय-मैप्ड RoPE एम्बेडिंग्स के माध्यम से गतिशील फ्रेम दर अनुकूलन का उपयोग करता है।
- गति की निरंतरता को बढ़ाने के लिए ऑप्टिकल-फ्लो-आधारित नुकसान कार्य का उपयोग करता है।
- तेज गतियों के दौरान उच्च-विश्वसनीय विवरण को बनाए रखने के लिए गति-गति नियंत्रण शामिल है।
- पांच नृत्य शैलियों में एक मिनट से अधिक समय तक स्थिर 720p/30fps वीडियो उत्पन्न करता है।
मॉडल पिछले दृष्टिकोणों में पाए गए कालिक ड्रिफ्ट और पहचान असंगति को संबोधित करके सहसंबद्ध, लंबी-रूप नृत्य वीडियो संश्लेषण में एक नई राज्य की कला स्थापित करता है।