Seorang pengguna Reddit menyarankan inisiatif kolaboratif untuk membangun model verifikasi kecil yang spesifik terhadap alur kerja, dengan jumlah parameter berkisar dari 3B hingga 14B. Proposal ini bertujuan memanfaatkan data komunitas yang dikumpulkan melalui alat seperti Pi, aider, atau OMP untuk mengatasi masalah keandalan seperti drift semantik dan kesalahan dependensi.
- Membuat model khusus untuk tugas-tugas seperti pelacakan, kritik, dan pengujian, bukan model frontier umum.
- Memanfaatkan benchmark dan dataset trajektori yang ada dari proyek seperti SWE-Bench, SWE-gym, dan Openhands.
- Mengembangkan taksonomi spesifik untuk fokus pada aspek keandalan termasuk drift arsitektur dan perilaku rollback yang buruk.
Penulis mengundang umpan balik mengenai kelayakan pendekatan ini atau informasi mengenai inisiatif serupa yang sudah ada.