Uma avaliação em larga escala de métodos de estimativa de incerteza (UE) em 22 idiomas revela que solicitar aos modelos que raciocinem em inglês melhora significativamente o desempenho, particularmente para idiomas com poucos recursos. O estudo compara nove métodos UE de caixa aberta e fechada usando conjuntos de dados de perguntas e respostas curados por humanos enquanto elicita raciocínio extenso.
- Solicitar aos modelos que raciocinem em inglês melhora substancialmente o desempenho da UE mesmo quando as perguntas estão em idiomas com poucos recursos, indicando que o gargalo de confiabilidade reside na geração e não na compreensão.
- Usar inglês para o raciocínio fecha a lacuna de desempenho da UE entre idiomas com poucos e muitos recursos, demonstrando que o idioma da geração importa mais do que o idioma da pergunta.
- O método UE ideal depende da escala do modelo: métodos baseados em probabilidade de caixa aberta superam alternativas em escalas menores, enquanto a incerteza autoverbalizada de caixa fechada é superior em escalas maiores.
Os autores fornecem orientações sobre a seleção de limiares para previsão seletiva com o objetivo de ajudar na calibração da abstenção em configurações multilíngues.