Benchmark · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) es un benchmark de preguntas expertas de frontera que abarcan muchos dominios académicos (matemáticas, ciencias, humanidades y más), diseñado deliberadamente para ser extremadamente difícil para la IA. Reporta el rendimiento como porcentaje de aciertos (accuracy).
Leer más
- Ejemplo
- Cada ítem es una pregunta experta de respuesta cerrada con una única respuesta correcta; por ejemplo, un problema avanzado de matemáticas o una pregunta científica de nivel de posgrado (algunas con una imagen adjunta), planteada como opción múltiple o como respuesta corta exacta.
- Puntuación
- La métrica es la exactitud (accuracy): el porcentaje de preguntas que el modelo responde correctamente. Algunas versiones también reportan una medida de calibración (confianza) junto con la exactitud.
- Verificación
- Cada pregunta tiene una respuesta correcta conocida, y la respuesta del modelo se califica automáticamente contra esa referencia (la opción correcta en las de opción múltiple, una respuesta corta coincidente): calificación automática y objetiva, no por voto humano.
- Por qué importa
- Los benchmarks habituales se han saturado (los mejores modelos rozan el techo), así que HLE busca ser una prueba difícil y discriminante en la frontera del conocimiento experto humano, un indicador significativo de cuán lejos está la IA del razonamiento a nivel de experto.
Ejemplo resuelto
Tarea
Los colibríes (orden Apodiformes) poseen de forma única un hueso sesamoideo (sesamoid) oval y bilateralmente pareado, incrustado en la parte caudolateral de la aponeurosis (aponeurosis) cruciforme expandida de inserción del m. depressor caudae. ¿Cuántos tendones pareados sostiene este hueso sesamoideo? Responde con un único número entero.
Solución
4
Explicación
El hueso sesamoideo oval se forma dentro de la aponeurosis cruciforme del músculo depresor de la cola y sostiene cuatro tendones pareados de esa inserción, una osificación especializada exclusiva de la anatomía caudal de los colibríes. HLE califica la respuesta por coincidencia exacta del número entero enviado con la respuesta de referencia (4) y solicita por separado una confianza para la calibración.