Les chercheurs présentent ProofCouncil, un agent LLM conçu pour résoudre des problèmes mathématiques ouverts à l'aide d'une architecture auteur-critique. Le système a servi de soumission à la deuxième vague de FirstProof, un défi impliquant 10 problèmes mathématiques du monde réel que les agents doivent résoudre de manière autonome.
- Les soumissions de ProofCouncil pour 6 des 10 problèmes de FirstProof ont été jugées correctes jusqu'à de légères révisions mineures, atteignant la meilleure performance parmi les équipes participantes.
- Lors d'une évaluation sur 30 problèmes ouverts par des chercheurs, 5 solutions ont été jugées complètement correctes et 2 prometteuses en attente de vérification finale.
- 8 solutions supplémentaires contenaient des progrès partiels utiles, avec la bibliothèque de construction d'agents publiée en open source.
Les auteurs considèrent cela comme significatif car cela démontre que les flux de travail agentic adaptés à la pratique mathématique du monde réel peuvent améliorer les performances des LLM sur des tâches complexes.