研究者らは、著者・批評家アーキテクチャを用いて数学の未解決問題に取り組むために設計されたLLMエージェントであるProofCouncilを紹介する。このシステムは、エージェントが自律的に解決しなければならない10件の実世界の数学的問題を含むFirstProofの第2バッチへの提出物として機能した。

  • ProofCouncilのFirstProofの問題10件中6件に対する提出物は、最大限にわずかな修正のみで正解と判定され、参加チーム中最良のパフォーマンスを達成した。
  • 研究者による30件の未解決問題の評価では、5つの解答が完全に正解と判定され、2つは最終検証待ちとして有望であるとされた。
  • さらに8つの解答には有用な部分的な進展が含まれており、エージェント構築ライブラリはオープンソースとして公開された。

著者らは、これは実世界の数学的実践に特化したエージェントワークフローが複雑なタスクにおけるLLMのパフォーマンスを向上できることを示しているため、重要であると見なしている。