研究者たちは、134のリアルなタスクにわたる約38,000時間分のエージェント相互作用を分析し、デプロイ後の学習のためのスケーリング法則を解明した。彼らは、全体的なパフォーマンスが高精度で対数シグモイドスケーリング法則に従うこと（R^2 = 0.998）を見つけ、学習速度は約3ヶ月ごとにほぼ2倍になることを明らかにした。

  • EdgeBenchは、科学発見やソフトウェア工学などのドメインで超長期のホライズンを特徴とする134のリアルなタスクのスイートである。
  • 各タスクは、豊かで多層的なフィードバックの下で少なくとも12時間の連続したエージェント運用を支える。
  • この研究は、環境学習における対数シグモイドスケーリングの最初の証拠を提供する。
  • 51のタスクと完全な評価フレームワークが公開され、研究の加速に貢献している。

この取り組みは、標準化されたベンチマークと経験的なスケーリングの洞察を提供することで、エージェントが実世界の経験からどのように学習するかという研究を加速させる。