Benchmark · math

FrontierMath

0 resultados 0 modelos

FrontierMath es un benchmark de Epoch AI que mide qué tan bien un modelo de IA resuelve problemas matemáticos extremadamente difíciles y originales, de nivel de investigación. La puntuación es el porcentaje de problemas que el modelo responde correctamente, y los modelos actuales resuelven solo una pequeña fracción, lejos de la saturación.

Ejemplo: Un único problema inédito de un campo avanzado como la teoría de números, la geometría algebraica o la combinatoria, cuya solución exige un conocimiento profundo y se reduce a una única respuesta final definida (por ejemplo, un número entero concreto o un objeto matemático exacto).
Puntuación: La métrica es la exactitud (accuracy): la fracción de problemas cuya respuesta final coincide exactamente con la respuesta de referencia, expresada como porcentaje.
Verificación: Cada problema tiene una única respuesta definida y verificable de forma automática, por lo que una solución solo se acepta si coincide exactamente con la de referencia; los problemas los diseñan matemáticos expertos para que sea casi imposible acertar por azar.
Por qué importa: Como los problemas son nuevos, resiste la memorización, y sigue lejos de resolverse, por lo que es uno de los pocos benchmarks de matemáticas que aún distingue con claridad el razonamiento matemático avanzado real del simple reconocimiento de patrones.

Ejemplo resuelto

Los ítems de FrontierMath son problemas matemáticos autocontenidos de nivel de investigación cuya respuesta es un único valor exacto que un verificador automático (a menudo SymPy) puede comprobar, y que es lo bastante grande o específico como para ser prácticamente imposible de adivinar. Un ítem representativo de ese estilo: «Para cada primo p, sea ord_p(2) el orden multiplicativo de 2 módulo p — el menor entero positivo k tal que 2^k ≡ 1 (mod p). Calcule Σ ord_p(2) sobre todos los primos p con 100 < p < 200 y dé el entero exacto.» Respuesta: 2140. Razonamiento: hay 21 primos así, y para cada uno ord_p(2) debe dividir a p−1 (pequeño teorema de Fermat), así que se prueban los divisores de p−1 en orden creciente buscando el menor k con 2^k ≡ 1 — por ejemplo, módulo 127 se obtiene 2^7 = 128 ≡ 1, luego ord = 7, mientras que módulo 101 el número 2 es una raíz primitiva, así que ord = 100. Sumar los 21 órdenes da 2140, que el corrector verifica por coincidencia exacta de enteros. (Los problemas reales de FrontierMath son mucho más difíciles y a menudo le llevan horas a un matemático experto, pero el formato —un único número preciso y verificable por máquina— es exactamente este.)

Aún no hay puntuaciones verificadas para este benchmark.