Una evaluación a gran escala de métodos de estimación de incertidumbre (UE) en 22 idiomas revela que solicitar a los modelos que razonen en inglés mejora significativamente el rendimiento, especialmente para idiomas con pocos recursos. El estudio compara nueve métodos UE de caja abierta y cerrada utilizando conjuntos de datos de preguntas y respuestas curados por humanos mientras se elicitan razonamientos extensos.
- Solicitar a los modelos que razonen en inglés mejora sustancialmente el rendimiento de la UE incluso cuando las preguntas están en idiomas con pocos recursos, lo que indica que el cuello de botella de la fiabilidad reside en la generación y no en la comprensión.
- Usar inglés para el razonamiento cierra la brecha de rendimiento de la UE entre idiomas con pocos y muchos recursos, demostrando que el idioma de la generación importa más que el idioma de la pregunta.
- El método UE óptimo depende del tamaño del modelo: los métodos basados en probabilidades de caja abierta superan a las alternativas a escalas menores, mientras que la incertidumbre autoverbalizada de caja cerrada es superior a escalas mayores.
Los autores proporcionan orientación sobre la selección de umbrales para la predicción selectiva con el fin de ayudar a calibrar la abstención en entornos multilingües.