研究人员分析了134个真实任务中约38,000小时的智能体交互数据,以揭示部署后学习的缩放定律。他们发现整体性能遵循高精度的对数S型缩放定律(R^2 = 0.998),而学习速度大约每三个月翻一番。
- EdgeBench是一个包含134个真实任务的套件,在科学发现和软件工程等领域具有超长的时间跨度。
- 每个任务在丰富的多层反馈下至少支持12小时的智能体连续运行。
- 该研究提供了环境学习中对数S型缩放的首个证据。
- 51个任务和完整的评估框架已公开发布,以加速研究。
这项工作通过提供标准化基准和实证缩放见解,加速了对智能体如何从真实经验中学习的研究。