Исследователи представляют ProofCouncil, агента на базе LLM, предназначенного для решения открытых математических проблем с использованием архитектуры автор-критик. Система была представлена как участие во втором наборе FirstProof — конкурсе, включающем 10 реальных математических задач, которые агенты должны решать автономно.
- Решения ProofCouncil для 6 из 10 задач FirstProof были признаны правильными с учетом незначительных правок, показав лучший результат среди участвовавших команд.
- При оценке 30 открытых проблем от исследователей 5 решений были признаны полностью правильными, а 2 перспективных — ожидающих окончательной проверки.
- В дополнительных 8 решениях был достигнут полезный частичный прогресс; библиотека для создания агентов выпущена как открытое программное обеспечение.
Авторы считают это значимым, поскольку это демонстрирует, что рабочие процессы на основе агентов, адаптированные к реальной математической практике, могут улучшить производительность LLM в сложных задачах.