Les chercheurs ont analysé environ 38 000 heures d'interactions d'agents sur 134 tâches du monde réel pour découvrir les lois d'échelle pour l'apprentissage post-déploiement. Ils ont constaté que la performance globale suit une loi d'échelle log-sigmoïde avec une grande précision (R^2 = 0,998), tandis que la vitesse d'apprentissage double approximativement tous les trois mois.
- EdgeBench est un ensemble de 134 tâches du monde réel présentant des horizons ultra-long dans des domaines tels que la découverte scientifique et le génie logiciel.
- Chaque tâche soutient au moins 12 heures d'exploitation continue de l'agent sous une rétroaction riche et multiniveau.
- L'étude fournit la première preuve d'une échelle log-sigmoïde pour l'apprentissage environnemental.
- 51 tâches et le cadre d'évaluation complet sont publiés publiquement pour accélérer la recherche.
Ce travail accélère l'étude de la manière dont les agents apprennent de l'expérience du monde réel en fournissant un benchmark standardisé et des insights empiriques sur l'échelle.