对22种语言的不确定性估计(UE)方法进行的规模评估显示,提示模型使用英语进行推理能显著提升性能,尤其是在低资源语言中。该研究在 eliciting 长形式推理的同时,比较了九种开源和闭源 UE 方法,使用的是人工策划的问答数据集。
- 即使问题是用低资源语言提出的,提示模型用英语推理也能大幅提高 UE 性能,这表明可靠性瓶颈在于生成而非理解。
- 使用英语进行推理缩小了低资源和高资源语言之间的 UE 性能差距,表明生成的语言比问题的语言更重要。
- 最优的 UE 方法取决于模型规模:在较小规模下,基于概率的开源方法优于其他方法;而在较大规模下,闭源的自我言语化不确定性更优。
作者提供了关于选择性预测中阈值选择的指导,以帮助在多语言环境中校准拒绝回答的行为。