Este estudio investiga la robustez dialectal de los modelos de lenguaje grandes (LLMs) y los modelos de lenguaje basados en habla (SLMs) utilizando los dialectos japoneses como caso de prueba. Aunque los sistemas de diálogo basados en LLMs han avanzado, la variación dialectal sigue siendo un desafío significativo, particularmente para el procesamiento de entradas habladas. La investigación define la robustez como la relación entre el rendimiento en entradas dialectales versus las estándar, lo que permite comparaciones justas entre diferentes tipos de modelos. Los experimentos revelan que la robustez de los SLMs se correlaciona directamente con la robustez de sus contrapartes LLMs basadas en texto. Además, el estudio encuentra que el entrenamiento con datos dialectales y el ajuste fino del codificador de habla sirven para mejorar la robustez en los SLMs. Estos hallazgos aclaran cómo las capacidades base de los LLMs afectan el rendimiento de los SLMs e identifican estrategias efectivas para mejorar la comprensión dialectal.
Evaluación de la robustez ante dialectos japoneses en modelos de lenguaje grandes basados en habla y texto
Traducido del English → Español