शोधकर्ता एक फ्रेमवर्क का प्रस्ताव करते हैं जो ऑडियो-अवेयर बड़े भाषा मॉडलों (ALLMs) को सूक्ष्म-स्तरीय न्यायाधीश के रूप में उपयोग करता है ताकि उत्पन्न ऑडियो में लक्ष्य घटना की उपस्थिति और कालिक संबंधों की पुष्टि की जा सके। यह दृष्टिकोण उस अंतर को दूर करता है जहां मौजूदा टेक्स्ट-टू-ऑडियो मॉडल अक्सर कई ध्वनि घटनाओं और उनके क्रम से जुड़े निर्देशों का पालन करने में विफल रहते हैं।
- विधि ALLM फीडबैक का उपयोग करके प्रत्यक्ष प्राथमिकता अनुकूलन के लिए प्राथमिकता जोड़े बनाती है, जिसका सत्यापन बेंचमार्क्स और मानव सत्यापन के माध्यम से किया गया था।
- बहु-घटना कालिक निर्देश पालन का मूल्यांकन करने के लिए S3Bench नामक एक नई कथात्मक बेंचमार्क पेश की गई है।
- प्रयोगों ने मौजूदा बेंचमार्क्स और S3Bench पर घटना पूर्णता, कालिक क्रम और संयुक्त निर्देश-पालन सटीकता में सुधार दिखाया है, जबकि ऑडियो गुणवत्ता को बनाए रखते हुए।
यह कार्य वैश्विक समानता मापों पर केवल निर्भर रहने के बजाय सूक्ष्म-स्तरीय फीडबैक का लाभ उठाकर टेक्स्ट-टू-ऑडियो जनरेशन में बेहतर निर्देश-स्तर की सहीता के लिए एक तंत्र प्रदान करता है।