Benchmark · math
FrontierMath
FrontierMath é um benchmark da Epoch AI que mede o quão bem um modelo de IA resolve problemas matemáticos extremamente difíceis e originais, em nível de pesquisa. A pontuação é a porcentagem de problemas que o modelo responde corretamente, e os modelos atuais resolvem apenas uma pequena fração, longe da saturação.
Saiba mais
- Exemplo
- Um único problema inédito de uma área avançada como teoria dos números, geometria algébrica ou combinatória, cuja solução exige conhecimento profundo e se reduz a uma única resposta final definida (por exemplo, um número inteiro específico ou um objeto matemático exato).
- Pontuação
- A métrica é a acurácia (accuracy): a fração de problemas cuja resposta final coincide exatamente com a resposta de referência, expressa em porcentagem.
- Verificação
- Cada problema tem uma única resposta definida e verificável automaticamente, então uma solução só é aceita quando corresponde exatamente à de referência; os problemas são criados por matemáticos especialistas para que seja quase impossível acertar por adivinhação.
- Por que importa
- Como os problemas são inéditos, ele resiste à memorização e continua longe de ser resolvido, sendo um dos poucos benchmarks de matemática que ainda separa com clareza o raciocínio matemático avançado real do simples reconhecimento de padrões.
Exemplo resolvido
Tarefa
Determine o número de inteiros $n$ com $0 \le n < 3^{13}$ para os quais o coeficiente binomial central $\binom{2n}{n}$ não é divisível por $3$.
Solução
Pelo teorema de Kummer, $3 \nmid \binom{2n}{n}$ exatamente quando somar $n+n$ na base 3 não gera vai-um, ou seja, todo dígito de $n$ na base 3 é 0 ou 1. Em $0 \le n < 3^{13}$ isso dá 2 opções para cada um dos 13 dígitos, então a contagem é $2^{13} = 8192$.
Explicação
O teorema de Kummer dá $v_3\binom{2n}{n}$ como o número de vai-uns ao somar $n$ com ele mesmo na base 3; zero vai-um obriga cada dígito na base 3 a ser 0 ou 1, isto é, 2 opções por dígito em 13 dígitos. Correção: um verificador automático compara exatamente o único inteiro final (8192).