GPT-5 Pro от OpenAI установил новый рекорд на бенчмарке FrontierMath Tier 4, решив одну дополнительную исследовательскую математическую задачу по сравнению с Gemini 2.5 Deep Think от Google. Оценка включала ручную проверку трех настроек моделей, требующих больших вычислений, на 50 крайне сложных задач, разработанных профессиональными математиками.
- GPT-5 Pro решил шесть задач (13%) через свой API и то же количество через веб-приложение, достигнув комбинированного показателя pass@2 в восемь задач (17%).
- Gemini 2.5 Deep Think уступил всего одной задачей; эта разница отмечена как не имеющая статистической значимости.
- Grok 4 Heavy отстал от двух других моделей по производительности.
- Общее количество когда-либо решенных задач уровня Tier 4 увеличилось до девяти (19% бенчмарка), причем пять из восьми решенных GPT-5 Pro задач были взяты из выделенного набора данных.
Этот результат подчеркивает растущие возможности моделей переднего края в решении исследовательских математических задач, при этом GPT-5 Pro демонстрирует небольшое преимущество перед своим ближайшим конкурентом.