Jeremy Berman mencatat rekor publik baru sebesar akurasi 53,6% di papan peringkat ARC-AGI-Pub dengan menerapkan algoritma evolusioner pada model Sonnet 3.5 milik OpenAI, melampaui skor tertinggi sebelumnya sebesar 43%. Pendekatan ini memperlakukan LLM sebagai mesin evolusi yang menghasilkan dan menyempurnakan fungsi transformasi Python alih-alih grid output langsung.
Metode ini melibatkan generasi gelombang kandidat fungsi Python dan penilaian mereka terhadap contoh pelatihan yang diberikan menggunakan evaluasi kebugaran dua tingkat.
- Fungsi dengan kinerja terbaik dipilih sebagai induk untuk membuat prompt revisi bagi generasi berikutnya.
- Proses ini berulang melalui beberapa generasi, berpotensi menghasilkan hingga 500 fungsi per tantangan menggunakan 31 prompt dinamis.
- Solusi akhir diturunkan dari dua fungsi teratas di seluruh generasi yang dikirimkan sebagai kandidat grid output.
Berman menyarankan bahwa penskalaan komputasi waktu uji yang dipandu oleh prinsip-prinsip evolusioner memungkinkan LLM mengkompensasi keterbatasan generalisasi dan mungkin menunjukkan jalan menuju Kecerdasan Umum Buatan.