शोधकर्ताओं ने Sentence Translation Alignment Rate (STAR) पेश किया है, जो एक सहायक मेट्रिक है जिसे दस्तावेज़-से-दस्तावेज़ मशीन अनुवाद में वाक्य-स्तर की संरचनात्मक विश्वसनीयता को मात्रात्मक रूप से मापने के लिए डिज़ाइन किया गया है, जो विलोपन और भ्रम जैसे मुद्दों को संबोधित करता है। वे STAR-masked Preference Optimization (StarPO) प्रस्तावित करते हैं, एक फ्रेमवर्क जो संरचनात्मक गुणवत्ता द्वारा परिकल्पनाओं को रैंक करता है और गैर-एलाइन किए गए खंडों पर अनुकूलन पर ध्यान केंद्रित करने के लिए एक गतिशील एलाइनमेंट मास्क का उपयोग करता है।
- STAR स्रोत-लक्ष्य अनुरूपता उल्लंघनों को संबोधित करने के लिए संरचनात्मक विश्वसनीयता को स्पष्ट रूप से मापता है।
- StarPO प्रशिक्षण के दौरान विशिष्ट गैर-एलाइन किए गए खंडों को अनुकूलित करने के लिए एक गतिशील एलाइनमेंट मास्क का उपयोग करता है।
- समाचार और साहित्यिक डोमेन में प्रयोगों ने अनुवाद की गुणवत्ता और अखंडता में महत्वपूर्ण सुधार दिखाए हैं।
- StarPO का उपयोग करने वाले कॉम्पैक्ट मॉडल GPT-4o जैसे विशाल स्वामित्व वाले सिस्टम से बेहतर टोकन दक्षता के साथ प्रदर्शन को पार कर जाते हैं।
फ्रेमवर्क छोटे मॉडलों को बड़े स्वामित्व वाले सिस्टम पर प्रदर्शन में श्रेष्ठता प्रदान करने की अनुमति देता है जबकि बेहतर टोकन दक्षता बनाए रखता है।