Para peneliti memperkenalkan ProofCouncil, sebuah agen LLM yang dirancang untuk menangani masalah matematika terbuka menggunakan arsitektur penulis-kritikus. Sistem ini berfungsi sebagai pengiriman untuk batch kedua FirstProof, sebuah tantangan yang melibatkan 10 masalah matematika dunia nyata yang harus dipecahkan secara otonom oleh agen.

  • Pengiriman ProofCouncil untuk 6 dari 10 masalah FirstProof dinilai benar hingga revisi minor saja, mencapai kinerja terbaik di antara tim peserta.
  • Pada evaluasi terhadap 30 masalah terbuka dari para peneliti, 5 solusi dinilai sepenuhnya benar dan 2 menjanjikan menunggu verifikasi akhir.
  • Tambahan 8 solusi berisi kemajuan parsial yang berguna, dengan pustaka pembangunan agen dirilis sebagai sumber terbuka.

Para penulis menganggap ini signifikan karena menunjukkan bahwa alur kerja agentic yang disesuaikan dengan praktik matematika dunia nyata dapat meningkatkan kinerja LLM pada tugas-tugas kompleks.