Analisis menemukan bahwa kinerja HRM pada ARC-AGI didorong oleh penyempurnaan loop luar dan hafalan

Verifikasi independen dari Model Penalaran Hierarkis (HRM) pada dataset Semi-Private ARC-AGI mereproduksi skor 32% pada ARC-AGI-1 dan 2% pada ARC-AGI-2, mengkonfirmasi hasil yang mengesankan untuk ukuran 27M parameternya. Studi ablasi mengungkapkan bahwa arsitektur hierarkis model memiliki dampak minimal dibandingkan dengan transformer berukuran serupa, sementara proses penyempurnaan loop luar mendorong peningkatan kinerja yang substansial.

• HRM mencapai 32% pada ARC-AGI-1 dan 2% pada set Semi-Private ARC-AGI-2.
• Perhitungan H-L hierarkis berkontribusi secara minimal terhadap kinerja relatif terhadap transformer dasar.
• Proses penyempurnaan loop luar diidentifikasi sebagai pendorong utama kesuksesan, terutama selama pelatihan.
• Pembelajaran transfer lintas-tugas menunjukkan manfaat yang terbatas, dengan sebagian besar kinerja dikaitkan dengan menghafal tugas evaluasi tertentu.
• Augmentasi tugas pra-pelatihan sangat penting, memerlukan hanya 300 augmentasi daripada 1.000 yang dilaporkan dalam makalah asli.

Temuan ini menunjukkan bahwa pendekatan HRM pada dasarnya mirip dengan "ARC-AGI tanpa pra-pelatihan", menantang narasi bahwa arsitektur hierarkis terinspirasi otak adalah pembeda utamanya.