يقترح الباحثون YOMI-Bench، وهو معيار مصمم لتقييم قدرات نماذج اللغات الكبيرة (LLMs) في قراءة الكانجي والفهم الصوتي باللغة اليابانية. يتناول المعيار صعوبة استنتاج القراءات الصحيحة من النص السطحي بسبب وجود قراءات متعددة ممكنة لكل حرف.
- يتكون YOMI-Bench من أربع مهام مصممة خصيصًا لتقييم أداء قراءة الكانجي.
- شمل التقييم نموذج LLM مفتوح متعدد اللغات واحدًا، وأربعة نماذج LLM مفتوحة مخصصة لليابانية، وخمسة نماذج LLM تجارية.
- أظهرت النتائج أن النماذج المخصصة لليابانية تعاني أيضًا من انخفاض الأداء في قراءة الكانجي.
- كما كانت النماذج التجارية ضعيفة الأداء في مهام التوليد التي تتطلب مراعاة قراءات الكانجي.
تسلط الدراسة الضوء على أن نماذج LLM الحالية تواجه صعوبات مع الخصائص اللغوية للكانجي الياباني، مما يشير إلى الحاجة إلى تحسين الفهم الصوتي.