ProofCouncil: 열린 수학 문제를 해결하기 위한 LLM 에이전트

연구자들은 작자-비평가 아키텍처를 사용하여 열린 수학 문제를 해결하도록 설계된 LLM 에이전트인 ProofCouncil을 소개합니다. 이 시스템은 에이전트가 자율적으로 해결해야 하는 10개의 실제 세계 수학 문제가 포함된 FirstProof의 두 번째 배치에 대한 제출물로 기능했습니다.

• ProofCouncil의 FirstProof 문제 10개 중 6개에 대한 제출물은 최대 소수 수정까지 정확하다고 판단되어 참가 팀 중 최고의 성능을 달성했습니다.
• 연구자들이 평가한 열린 문제 30개에서 5개의 솔루션이 완전히 정확하다고 판단되었고, 2개는 최종 검증을 기다리는 유망한 것으로 평가되었습니다.
• 추가로 8개의 솔루션에는 유용한 부분적 진전이 포함되어 있었으며, 에이전트 빌딩 라이브러리는 오픈 소스로 공개되었습니다.

저자들은 이것이 실제 세계 수학 관행에 맞춘 에이전트 워크플로우가 복잡한 작업에서 LLM 성능을 향상시킬 수 있음을 보여주기 때문에 이를 중요하게 생각합니다.