Benchmark · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) adalah benchmark berisi soal-soal tingkat pakar mutakhir yang mencakup banyak bidang (matematika, sains, humaniora, dan lainnya), yang sengaja dibuat sangat sulit bagi AI. Kinerjanya dilaporkan sebagai persentase ketepatan (accuracy).
Selengkapnya
- Contoh
- Setiap butir adalah pertanyaan pakar berjawaban tertutup dengan satu jawaban benar; misalnya soal matematika tingkat lanjut atau soal sains setara pascasarjana (sebagian disertai gambar), yang disajikan sebagai pilihan ganda atau jawaban singkat yang tepat.
- Penilaian
- Metriknya adalah ketepatan (accuracy), yaitu persentase soal yang dijawab benar oleh model. Beberapa versi juga melaporkan ukuran kalibrasi (tingkat keyakinan) di samping ketepatan.
- Verifikasi
- Setiap soal memiliki jawaban benar yang sudah diketahui, dan jawaban model dinilai secara otomatis terhadap acuan tersebut (opsi yang benar untuk pilihan ganda, jawaban singkat yang cocok) — penilaian otomatis dan objektif, bukan lewat pemungutan suara manusia.
- Mengapa penting
- Benchmark biasa sudah jenuh (model terbaik hampir menyentuh batas atas), sehingga HLE bertujuan menjadi ujian yang sulit dan membedakan di garis depan pengetahuan pakar manusia — tolok ukur yang bermakna tentang seberapa jauh AI dari penalaran setingkat pakar.
Contoh penyelesaian
Tugas
Burung kolibri (ordo Apodiformes) secara unik memiliki tulang sesamoid (sesamoid) oval berpasangan bilateral, yang tertanam di bagian kaudolateral aponeurosis (aponeurosis) berbentuk silang yang melebar pada insersi m. depressor caudae. Berapa banyak tendon (tendons) berpasangan yang ditopang oleh tulang sesamoid ini? Jawab dengan satu bilangan bulat.
Solusi
4
Penjelasan
Tulang sesamoid oval terbentuk di dalam aponeurosis berbentuk silang otot penurun ekor dan menopang empat tendon berpasangan dari insersi tersebut — sebuah osifikasi khusus yang unik pada anatomi ekor kolibri. HLE menilai jawaban melalui kecocokan persis antara bilangan bulat yang dikirim dengan jawaban acuan (4) dan secara terpisah meminta tingkat keyakinan untuk kalibrasi.