ベンチマーク · reasoning
Humanity's Last Exam
Humanity's Last Exam(HLE)は、数学・自然科学・人文学など多数の分野にわたる最先端で専門家レベルの問題からなるベンチマークで、AI にとって極めて難しくなるよう意図的に設計されています。性能は正答率(パーセント)で報告されます。
詳しく見る
- 例
- 各問題は答えが一つに定まる専門家レベルの問いで、たとえば高度な数学の問題や大学院レベルの科学の問題(画像が付くものもあります)を、多肢選択または厳密な短答の形式で出題します。
- 採点方法
- 指標は正答率(accuracy)で、モデルが正しく答えた問題の割合(パーセント)です。一部のバージョンでは、正答率とあわせてキャリブレーション(確信度)の指標も報告します。
- 検証方法
- 各問題には既知の正解があり、モデルの解答はその参照解と自動的に照合して採点されます(多肢選択なら正しい選択肢、短答なら一致するか)。人間の投票ではなく、客観的な自動採点です。
- 重要な理由
- 一般的なベンチマークは飽和し(トップモデルは上限近くに達し)ているため、HLE は人間の専門知識の最前線における難しく識別力の高いテストを目指しており、AI が専門家レベルの推論からどれだけ離れているかを測る意味のある指標となります。
解説付きの例
課題
ハチドリ（Apodiformes 目）は独自に、左右一対の卵形の種子骨（sesamoid）を持ち、これは m. depressor caudae（尾を下げる筋）の付着部にある拡大した十字形の腱膜（aponeurosis）の尾側外側部に埋め込まれている。この種子骨は何対の腱（tendons）を支えているか。整数一つで答えよ。
解答
4
解説
この卵形の種子骨は尾部下制筋の十字形腱膜の中で形成され、その付着部の4対の腱を支える――ハチドリの尾の解剖に特有の特殊化した骨化である。HLE は提出された整数を参照解答（4）と厳密一致で採点し、校正のために別途、確信度も取得する。