Los investigadores analizaron aproximadamente 38.000 horas de interacciones de agentes en 134 tareas del mundo real para descubrir las leyes de escalado para el aprendizaje post-despliegue. Encontraron que el rendimiento general sigue una ley de escalado log-sigmoidal con alta precisión (R^2 = 0.998), mientras que la velocidad de aprendizaje se duplica aproximadamente cada tres meses.
- EdgeBench es un conjunto de 134 tareas del mundo real que presentan horizontes ultra largos en dominios como el descubrimiento científico e ingeniería de software.
- Cada tarea sostiene al menos 12 horas de operación continua del agente bajo una retroalimentación rica y multinivel.
- El estudio proporciona la primera evidencia de escalado log-sigmoidal para el aprendizaje del entorno.
- 51 tareas y el marco completo de evaluación se han liberado públicamente para acelerar la investigación.
Este trabajo acelera el estudio de cómo los agentes aprenden de la experiencia del mundo real al proporcionar un estándar de referencia y perspectivas empíricas de escalado.