清华大学和蚂蚁集团的研究人员推出了IFEval++，这是一个旨在评估大语言模型“面向细微差别的可靠性”的基准测试，揭示了当前模型尽管在标准基准测试中得分较高，但在处理细微提示变化时仍面临显著困难。

  • 该研究将“表亲提示”定义为传达相似意图但措辞或上下文不同的输入，并提出了reliable@k指标来量化它们之间的一致性。
  • IFEval++包含541个测试用例，每个用例通过自动化流水线生成10个表亲提示，该方法使用重述、干扰项添加和任务重构技术。
  • 对20个专有模型和26个开源模型的评估显示，当从标准IFEval准确率转向IFEval++上的reliable@10时，Qwen3-0.6B的性能下降了高达61.8%，GPT-3.5-turbo-1106下降了54.7%。
  • 即使是可靠性最高的模型GPT-5，在细微条件下其可靠性也下降了18.3%。
  • 作者确定通过拒绝采样进行并行测试时扩展是最有效的改进方法，使得较弱的模型如Qwen3-4B能够超越较强的模型如LLaMA-3.3-70B-Instruct。

这些发现凸显了面向细微差别的可靠性是当前大语言模型能力中的一个关键差距，也是构建更可靠和可信AI系统的必要步骤。