对半私有数据集上分层推理模型(HRM)在ARC-AGI上的独立验证复现了32%的ARC-AGI-1得分和2%的ARC-AGI-2得分,确认了其27M参数规模下的出色表现。消融研究表明,与相似规模的Transformer相比,模型的层次架构影响甚微,而外循环优化过程带来了显著的性能提升。
- HRM在ARC-AGI-1上达到32%,在ARC-AGI-2半私有集上达到2%。
- 与基础Transformer相比,层次H-L计算对性能贡献极小。
- 外循环优化过程被确定为成功的主要驱动力,尤其是在训练期间。
- 跨任务迁移学习显示出有限的益处,大部分性能归因于记忆特定的评估任务。
- 预训练任务增强至关重要,仅需300次增强而非原始论文中报告的1,000次。
这些发现表明HRM的方法本质上与“无预训练的ARC-AGI”相似,挑战了其受脑启发的层次架构是关键差异点的叙事。