शोधकर्ताओं ने YOMI-Bench प्रस्तावित किया है, जो जापानी भाषा में बड़े भाषा मॉडलों (LLMs) की कान्जी पढ़ने और ध्वनिक समझ की क्षमताओं का मूल्यांकन करने के लिए डिज़ाइन किया गया एक बेंचमार्क है। यह बेंचमार्क सतही पाठ से सही उच्चारणों को निहित करने की कठिनाई को संबोधित करता है, क्योंकि प्रत्येक वर्ण के लिए कई संभावित उच्चारण हो सकते हैं।
- YOMI-Bench में चार कार्य शामिल हैं जो विशेष रूप से कान्जी पढ़ने के प्रदर्शन का मूल्यांकन करने के लिए डिज़ाइन किए गए हैं।
- मूल्यांकन ने एक बहुभाषी ओपन LLM, जापानी-विशिष्ट चार ओपन LLMs और पांच वाणिज्यिक LLMs का आकलन किया।
- परिणाम दिखाते हैं कि यहां तक कि जापानी-विशिष्ट मॉडल भी कान्जी पढ़ने में कम प्रदर्शन करते हैं।
- वाणिज्यिक मॉडल भी उन जनरेटिव कार्यों पर खराब प्रदर्शन करते हैं जिनमें कान्जी उच्चारणों को ध्यान में रखना आवश्यक होता है।
अध्ययन इस बात पर जोर देता है कि वर्तमान LLMs जापानी कान्जी की भाषाई विशेषताओं के साथ संघर्ष करते हैं, जिससे ध्वनिक समझ में सुधार की आवश्यकता का संकेत मिलता है।