YOMI-Bench: una evaluación para medir la lectura de kanji y la comprensión fonológica de LLMs en japonés

Los investigadores proponen YOMI-Bench, una evaluación diseñada para medir las capacidades de los grandes modelos de lenguaje (LLMs) para leer kanji y comprender la fonología en japonés. La evaluación aborda la dificultad de inferir lecturas correctas a partir del texto superficial debido a múltiples lecturas posibles por carácter.

• YOMI-Bench consta de cuatro tareas diseñadas específicamente para evaluar el rendimiento de lectura de kanji.
• La evaluación analizó un LLM abierto multilingüe, cuatro LLMs abiertos específicos para japonés y cinco LLMs comerciales.
• Los resultados muestran que incluso los modelos específicos para japonés presentan bajo rendimiento en la lectura de kanji.
• Los modelos comerciales también tienen un rendimiento deficiente en tareas de generación que requieren considerar las lecturas del kanji.

El estudio destaca que los LLMs actuales luchan con las características lingüísticas del kanji japonés, lo que indica la necesidad de mejorar la comprensión fonológica.