media LessWrong · il y a 510 j

L'évaluation par Epoch de o3-mini sur FrontierMath donne 11% contre 32% pour OpenAI

Traduit de English → Français

OpenAI affirme que son modèle o3-mini, doté d'une forte capacité de raisonnement et d'un accès aux outils Python, obtient un score de 32 % au benchmark FrontierMath. Cependant, l'évaluation officielle indépendante d'Epoch rapporte un score nettement inférieur, de seulement 11 %.

Epoch a construit le benchmark et dispose de meilleurs incitations pour une notation précise.
OpenAI a signalé un score de 28 % sur le niveau de problèmes le plus difficile, ce qui est suspectement proche de son score global.
Epoch a publié des informations détaillées sur son infrastructure de test et ses données, tandis qu'OpenAI en a publié très peu.
L'écart pourrait provenir du fait qu'OpenAI utilise un échafaudage interne plus puissant, plus de calculs lors du test ou un sous-ensemble différent de problèmes (180 contre 290).

La différence de résultats met en lumière l'importance des méthodologies d'évaluation transparentes et de la vérification indépendante dans le benchmarking des grands modèles de langage.

Importance 2/3 LessWrong OpenAI Benchmark results Evaluation & benchmarks

Benchmarks

Benchmark	Modèle	Score
FrontierMath	o3-mini with high reasoning and a Python tool	32%

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 35 j

L'évaluation en zero-shot montre que Gemini domine les LLM sur une taxonomie d'émotions à 13 classes

Une étude a évalué trois grands modèles de langage commerciaux — Claude (claude-sonnet-4-6), ChatGPT (GPT-5.4) et Gemini (gemini-2.5-flash) — sur une tâche de classification fine des émotions en zero-shot, à l'aide d'un échantillon stratifié de 1 000 phrases du jeu de données boltuix/emotions.

media The Decoder · il y a 567 j

OpenAI a financé le benchmark FrontierMath avant qu'o3 ne batte un record

OpenAI a fourni des fonds pour le benchmark mathématique indépendant FrontierMath tout en étant lié par un accord de non-divulgation qui empêchait Epoch AI de révéler cette relation jusqu'après l'annonce par OpenAI des performances records de son modèle o3. Le benchmark, développé par plus de 60 mathématiciens, teste des compétences de raisonnement complexes, et le o3 d'OpenAI a obtenu un taux de réussite de 25,2 %.

lab OpenAI · il y a 726 j

OpenAI publie SWE-bench Verified avec un sous-ensemble validé par des humains

OpenAI a publié SWE-bench Verified, un sous-ensemble validé par des humains du benchmark SWE-bench conçu pour évaluer de manière plus fiable la capacité des modèles d'IA à résoudre des problèmes logiciels réels. Cette nouvelle version remplace les ensembles de test originaux SWE-bench et SWE-bench Lite en corrigeant les défauts qui conduisaient précédemment à une sous-estimation des capacités des modèles.

lab Hugging Face Blog · il y a 2 j · 3 vues

TutorMoments évalue si les tuteurs IA savent quand aider ou se retenir

Les chercheurs présentent TutorMoments, un cadre conçu pour mesurer si les grands modèles de langage peuvent équilibrer le compromis pédagogique entre fournir un soutien et encourager la réflexion autonome. Basé sur des transcriptions réelles de tutorats individuels en mathématiques, le système rejoue les points de décision pour évaluer le comportement du modèle par rapport à une vérité terrain annotée par des humains.

media Together AI Blog · il y a 2 j · 7 vues

DeepSeek-V4 Flash 0731 vs GPT-5.6 Luna sur DeepSWE : Coût et codage

Une comparaison entre DeepSeek-V4 Flash 0731 et GPT-5.6 Luna sur le benchmark DeepSWE révèle que, bien que GPT-5.6 Luna soit l'ingénieur le plus performant, une stratégie en cascade utilisant les deux modèles atteint une précision supérieure à un coût moindre.