Benchmark · math
FrontierMath
FrontierMath es un benchmark de Epoch AI que mide qué tan bien un modelo de IA resuelve problemas matemáticos extremadamente difíciles y originales, de nivel de investigación. La puntuación es el porcentaje de problemas que el modelo responde correctamente, y los modelos actuales resuelven solo una pequeña fracción, lejos de la saturación.
Leer más
- Ejemplo
- Un único problema inédito de un campo avanzado como la teoría de números, la geometría algebraica o la combinatoria, cuya solución exige un conocimiento profundo y se reduce a una única respuesta final definida (por ejemplo, un número entero concreto o un objeto matemático exacto).
- Puntuación
- La métrica es la exactitud (accuracy): la fracción de problemas cuya respuesta final coincide exactamente con la respuesta de referencia, expresada como porcentaje.
- Verificación
- Cada problema tiene una única respuesta definida y verificable de forma automática, por lo que una solución solo se acepta si coincide exactamente con la de referencia; los problemas los diseñan matemáticos expertos para que sea casi imposible acertar por azar.
- Por qué importa
- Como los problemas son nuevos, resiste la memorización, y sigue lejos de resolverse, por lo que es uno de los pocos benchmarks de matemáticas que aún distingue con claridad el razonamiento matemático avanzado real del simple reconocimiento de patrones.
Ejemplo resuelto
Tarea
Determina el número de enteros $n$ con $0 \le n < 3^{13}$ para los cuales el coeficiente binomial central $\binom{2n}{n}$ no es divisible por $3$.
Solución
Por el teorema de Kummer, $3 \nmid \binom{2n}{n}$ exactamente cuando al sumar $n+n$ en base 3 no hay acarreos, es decir, cada dígito de $n$ en base 3 es 0 o 1. En $0 \le n < 3^{13}$ esto da 2 opciones para cada uno de los 13 dígitos, así que el conteo es $2^{13} = 8192$.
Explicación
El teorema de Kummer da $v_3\binom{2n}{n}$ como el número de acarreos al sumar $n$ consigo mismo en base 3; cero acarreos obliga a que cada dígito en base 3 sea 0 o 1, es decir, 2 opciones por dígito en 13 dígitos. Calificación: un verificador automático compara exactamente el único entero final (8192).