OpenAIのo3およびo4-miniモデルをHumanity’s Last Examで評価した結果、これらのモデルの較正誤差は以前の世代と比較して大幅に低くなっていることが明らかになった。ただし、o3はランダムな基準値と統計的に有意な差がない。この分析により、o1などの前身モデルが幅広いタスクで高い自信を示す傾向があるのに対し、o3は全般的に過小評価されていることが示唆された。

  • Humanity’s Last Examにおいて、o3の信頼度分布はほぼ一様であり、ランダムな基準値よりも劣る他のモデルと比較して較正誤差が低くなっている。
  • 較正曲線では、o3について精度と信頼度の間に強い視覚的な相関は見られず、その低い平均信頼度は正確な自己認識ではなく、困難なタスクにおける全体的な過小評価に起因している可能性が高い。
  • 飽和状態にあるGSM8kデータセットでは、o3は依然として全般的に過小評価されている一方、o4-miniはより適切に較正されている。ただし、信頼度スコアに対する推論を促すようプロンプトを変更することで、o3の較正誤差は24%から9%に低下した。

これらの知見は、新しいOpenAIモデルが前身モデルよりも較正において優れている一方で、特に容易なタスクで過小評価が続くため、一貫した信頼度の引き出しに課題を抱えていることを示唆している。