media LessWrong · há 510 d

Avaliação da Epoch de o3-mini no FrontierMath resulta em 11% contra 32% da OpenAI

Traduzido do English → Português (BR)

A OpenAI afirma que seu modelo o3-mini, com alto raciocínio e acesso a ferramentas Python, alcança uma pontuação de 32% no benchmark FrontierMath. No entanto, a avaliação oficial independente da Epoch relata uma pontuação significativamente menor, de apenas 11%.

A Epoch construiu o benchmark e tem melhores incentivos para uma pontuação precisa.
A OpenAI relatou uma pontuação de 28% na camada de problemas mais difíceis, o que é suspeitamente próximo de sua pontuação geral.
A Epoch publicou informações extensas sobre sua infraestrutura de teste e dados, enquanto a OpenAI publicou pouco.
A discrepância pode decorrer da OpenAI usar um scaffold interno mais poderoso, mais computação no momento do teste ou um subconjunto diferente de problemas (180 vs 290).

A diferença nos resultados destaca a importância de metodologias de avaliação transparentes e verificação independente na benchmarking de grandes modelos de linguagem.

Importância 2/3 LessWrong OpenAI Benchmark results Evaluation & benchmarks

Benchmarks

Benchmark	Modelo	Pontuação
FrontierMath	o3-mini with high reasoning and a Python tool	32%

Ler original

Avaliação zero-shot mostra que o Gemini lidera os LLMs na taxonomia de emoções de 13 classes

Um estudo avaliou três grandes modelos de linguagem comerciais — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) e Gemini (gemini-2.5-flash) — em uma tarefa de classificação fina de emoções zero-shot usando uma amostra estratificada de 1.000 frases do conjunto de dados boltuix/emotions.

media The Decoder · há 567 d

OpenAI financiou o benchmark FrontierMath antes do recorde do o3

A OpenAI forneceu financiamento para o benchmark de matemática independente FrontierMath enquanto estava vinculada a um acordo de confidencialidade que impedia a Epoch AI de divulgar esse relacionamento até após a OpenAI anunciar o desempenho recorde do seu modelo o3. O benchmark, desenvolvido por mais de 60 matemáticos, testa habilidades complexas de raciocínio, e o o3 da OpenAI alcançou uma taxa de sucesso de 25,2% nele.

lab OpenAI · há 726 d

OpenAI lança o SWE-bench Verified com subconjunto validado por humanos

A OpenAI lançou o SWE-bench Verified, um subconjunto validado por humanos do benchmark SWE-bench, projetado para avaliar de forma mais confiável a capacidade dos modelos de IA de resolver problemas reais de software. Esta nova versão substitui os conjuntos de teste originais SWE-bench e SWE-bench Lite ao corrigir falhas que anteriormente levavam à subestimação das capacidades dos modelos.

lab Hugging Face Blog · há 2 d · 3 visualizações

TutorMoments avalia se tutores de IA sabem quando ajudar ou recuar

Pesquisadores apresentam o TutorMoments, uma estrutura projetada para medir se grandes modelos de linguagem podem equilibrar a troca pedagógica entre fornecer suporte e incentivar o raciocínio independente. Construído com base em transcrições reais de tutoria matemática individual, o sistema reproduz pontos de decisão para avaliar o comportamento do modelo contra um ground truth anotado por humanos.

media Together AI Blog · há 2 d · 7 visualizações

DeepSeek-V4 Flash 0731 vs GPT-5.6 Luna no DeepSWE: Custo e Codificação

Uma comparação entre DeepSeek-V4 Flash 0731 e GPT-5.6 Luna no benchmark DeepSWE revela que, embora GPT-5.6 Luna seja o engenheiro mais forte, uma estratégia em cascata usando ambos os modelos alcança maior precisão a um custo menor.