清華大学とAnt Groupの研究チームは、「ニュアンス指向の信頼性」を大規模言語モデルで評価するために設計されたベンチマークIFEval++を発表し、現在のモデルが標準的なベンチマークスコアが高いにもかかわらず、微妙なプロンプトの変化に対して大幅に苦戦していることを明らかにした。

  • 研究では「cousin prompts」を同じ意図を持ちつつも表現や文脈が異なる入力として定義し、それら全体での一貫性を定量化するためにreliable@k指標を提案した。
  • IFEval++は541のテストケースで構成され、各ケースには書き換え、妨害情報の追加、タスク再構成を用いた自動化パイプラインによって生成された10個のcousin promptsが含まれる。
  • 20の商用および26のオープンソースモデルの評価では、標準的なIFEval精度からIFEval++上のreliable@10へ移行する際、Qwen3-0.6Bで最大61.8%、GPT-3.5-turbo-1106で54.7%のパフォーマンス低下が見られた。
  • 最も信頼性の高いモデルであるGPT-5でさえ、ニュアンスのある条件下で信頼性が18.3%低下した。
  • 著者らは、拒否サンプリングによる並列テスト時のスケーリングが最も効果的な改善方法であることを特定し、これによりQwen3-4Bのような弱いモデルがLLaMA-3.3-70B-Instructのような強力なモデルを上回ることを可能にした。

これらの知見は、ニュアンス指向の信頼性が現在のLLM能力における重要なギャップであり、より信頼でき、信頼性の高いAIシステムを構築するための必要なステップであることを浮き彫りにしている。