YOMI-Bench: uma avaliação para medir a leitura de kanji e a compreensão fonológica de LLMs em japonês

Os pesquisadores propõem o YOMI-Bench, uma avaliação projetada para medir as capacidades dos grandes modelos de linguagem (LLMs) para ler kanji e compreender a fonologia no japonês. A avaliação aborda a dificuldade de inferir leituras corretas a partir do texto superficial devido a múltiplas leituras possíveis por caractere.

• O YOMI-Bench consiste em quatro tarefas especificamente projetadas para avaliar o desempenho de leitura de kanji.
• A avaliação analisou um LLM aberto multilíngue, quatro LLMs abertos específicos para japonês e cinco LLMs comerciais.
• Os resultados mostram que mesmo os modelos específicos para japonês apresentam baixo desempenho na leitura de kanji.
• Modelos comerciais também têm desempenho ruim em tarefas de geração que exigem considerar as leituras do kanji.

O estudo destaca que os LLMs atuais têm dificuldade com as características linguísticas do kanji japonês, indicando a necessidade de melhorar a compreensão fonológica.