Benchmark · math
FrontierMath
FrontierMath é um benchmark da Epoch AI que mede o quão bem um modelo de IA resolve problemas matemáticos extremamente difíceis e originais, em nível de pesquisa. A pontuação é a porcentagem de problemas que o modelo responde corretamente, e os modelos atuais resolvem apenas uma pequena fração, longe da saturação.
Saiba mais
- Exemplo
- Um único problema inédito de uma área avançada como teoria dos números, geometria algébrica ou combinatória, cuja solução exige conhecimento profundo e se reduz a uma única resposta final definida (por exemplo, um número inteiro específico ou um objeto matemático exato).
- Pontuação
- A métrica é a acurácia (accuracy): a fração de problemas cuja resposta final coincide exatamente com a resposta de referência, expressa em porcentagem.
- Verificação
- Cada problema tem uma única resposta definida e verificável automaticamente, então uma solução só é aceita quando corresponde exatamente à de referência; os problemas são criados por matemáticos especialistas para que seja quase impossível acertar por adivinhação.
- Por que importa
- Como os problemas são inéditos, ele resiste à memorização e continua longe de ser resolvido, sendo um dos poucos benchmarks de matemática que ainda separa com clareza o raciocínio matemático avançado real do simples reconhecimento de padrões.
Exemplo resolvido
Os itens do FrontierMath são problemas matemáticos autocontidos de nível de pesquisa cuja resposta é um único valor exato que um verificador automático (muitas vezes o SymPy) consegue conferir, e que é grande ou específico o bastante para ser praticamente impossível de adivinhar. Um item representativo nesse estilo: «Para cada primo p, seja ord_p(2) a ordem multiplicativa de 2 módulo p — o menor inteiro positivo k tal que 2^k ≡ 1 (mod p). Calcule Σ ord_p(2) sobre todos os primos p com 100 < p < 200 e dê o inteiro exato.» Resposta: 2140. Raciocínio: há 21 primos assim, e para cada um ord_p(2) precisa dividir p−1 (pequeno teorema de Fermat), então testam-se os divisores de p−1 em ordem crescente buscando o menor k com 2^k ≡ 1 — por exemplo, módulo 127 obtém-se 2^7 = 128 ≡ 1, logo ord = 7, enquanto módulo 101 o número 2 é uma raiz primitiva, então ord = 100. Somar as 21 ordens dá 2140, que o corretor confere por correspondência exata de inteiros. (Os problemas reais do FrontierMath são muito mais difíceis e costumam levar horas de um matemático especialista, mas o formato — um único número preciso e verificável por máquina — é exatamente este.)
Ainda não há pontuações verificadas para este benchmark.