Pesquisadores analisaram aproximadamente 38.000 horas de interações de agentes em 134 tarefas do mundo real para descobrir leis de escalonamento para o aprendizado pós-implementação. Eles descobriram que o desempenho geral segue uma lei de escalonamento log-sigmoide com alta precisão (R^2 = 0.998), enquanto a velocidade de aprendizado dobra aproximadamente a cada três meses.
- EdgeBench é um conjunto de 134 tarefas do mundo real com horizontes ultra-longos em domínios como descoberta científica e engenharia de software.
- Cada tarefa sustenta pelo menos 12 horas de operação contínua do agente sob feedback rico e multinível.
- O estudo fornece a primeira evidência de escalonamento log-sigmoide para aprendizado de ambiente.
- 51 tarefas e o framework completo de avaliação foram lançados publicamente para acelerar a pesquisa.
Este trabalho acelera o estudo de como os agentes aprendem com a experiência do mundo real, fornecendo um benchmark padronizado e insights empíricos de escalonamento.