ARC Prize 組織は 2024 年コンペティションの受賞者を発表し、関連する技術レポートを公開しました。これにより、イベント中に ARC-AGI-1 ベンチマークの最先端スコア(SOTA)が 33% から 55.5% に上昇したことが明らかになりました。
- コンペティションには合計 1,430 チームが参加し、17,789 エントリが提出されました。
- グランドプライズは未受賞のままとなりました。プライベート評価セットを解いたチームがなかったためです。
- セカンダリの ARC-AGI-Pub リーダーボードでの進捗は、より大規模なフロンティア LLM や大幅に増加した計算リソースへのアクセスがあったにもかかわらず、Kaggle のスコアと密接に追跡されました。
- すべての受賞ソリューションおよび論文はオープンソースであり、再現可能です。
このコンペティションは、純粋なディープラーニングのスケーリングを超えた新しいアイデアへの AI 研究の転換を促進したと評価されており、プログラム合成や探索を組み込んだ DeepMind および OpenAI の最近のリリースがその証拠となっています。