Shehab Anwer telah membuka kode Agent-ProSAT, sebuah pipeline yang menghasilkan dataset Chain-of-Thought (CoT) dengan membuat agen menulis kode dan secara iteratif meningkatkan solver programatik yang dapat diverifikasi alih-alih mengandalkan teks yang dihasilkan model.
- Sistem menggunakan loop koreksi diri untuk memvalidasi keabsahan logis terhadap ground truth dan sampel yang dihold-out.
- Sistem ini diuji pada Tantangan Penalaran Nemotron NVIDIA menggunakan teka-teki logika "Alice in Wonderland" untuk menguji batasan spasial dan logis.
- Pendekatan ini bertujuan mengurangi risiko halusinasi dan meningkatkan utilisasi token dalam pipeline SFT/RL melalui tinjauan programatik.
Penulis membagikan basis kode, notebook Kaggle untuk fine-tuning, dan dataset ProSAT CoT hasil di Hugging Face.