「ループエンジニアリング」に関するガイドは、AIエージェントが手動イテレーションを自動化されたループに置き換えることで自律的な機械学習研究を実行する方法を説明しています。この記事では、このパターンに対する検証済みアーティファクトとして、Andrej Karpathyのオープンソースリポジトリ `autoresearch` と `Bilevel Autoresearch` 論文が詳細に解説されています。
- Karpathyは2026年3月7日、MITライセンスの下でエージェントがトレーニングコードを編集しつつ評価ユーティリティを固定し、自己欺瞞を防ぐことができるツール `autoresearch` を公開しました。
- GPT-2品質のコードでのテストでは、ループは2日間で約700回の実験を実行し、トレーニング時間を11%短縮する20件の本物の改善点を特定しました。
- Shopify CEOのTobi Lütkeは、内部モデルに対して同じツールを使用して37回の夜間実験を行った後、19%の改善を報告しました。
- `Bilevel Autoresearch` 論文は、内側ループの検索メカニズムを変更する外側ループを導入し、単一ループのみよりも5倍大きい検証ビット毎バイトの低下を実現しています。
これらのループにより、AIは厳格な指標に対して結果を検証し、有効な改善点のみを保持しながら、変更を継続的に提案することでモデルやコードを自律的に洗練させることができます。