Исследователи проанализировали около 38 000 часов взаимодействий агентов на 134 реальных задачах, чтобы выявить законы масштабирования для обучения после развертывания. Они обнаружили, что общая производительность подчиняется лог-сигмоидальному закону масштабирования с высокой точностью (R^2 = 0.998), в то время как скорость обучения примерно удваивается каждые три месяца.
- EdgeBench — это набор из 134 реальных задач, отличающихся сверхдлинными горизонтами в таких областях, как научные открытия и разработка программного обеспечения.
- Каждая задача поддерживает не менее 12 часов непрерывной работы агента при наличии богатого многоуровневого обратной связи.
- Исследование предоставляет первые доказательства лог-сигмоидального масштабирования для обучения среде.
- 51 задача и полная система оценки опубликованы в открытом доступе для ускорения исследований.
Эта работа ускоряет изучение того, как агенты учатся на основе реального опыта, предоставляя стандартизированный бенчмарк и эмпирические данные о масштабировании.