연구자들은 134개의 실제 작업에 걸쳐 약 38,000시간의 에이전트 상호작용을 분석하여 배포 후 학습을 위한 스케일링 법칙을 규명했습니다. 그들은 전반적인 성능이 높은 정밀도로 로그 시그모이드 스케일링 법칙을 따름(R^2 = 0.998)을 발견했으며, 학습 속도는 약 3개월마다 거의 두 배가 된다고 밝혔습니다.
- EdgeBench는 과학적 발견 및 소프트웨어 공학 등의 도메인에서 초장기 호라이즌을 특징으로 하는 134개의 실제 작업 스위트입니다.
- 각 작업은 풍부하고 다층적인 피드백 하에서 최소 12시간의 연속 에이전트 운영을 유지합니다.
- 이 연구는 환경 학습에 대한 로그 시그모이드 스케일링의 첫 번째 증거를 제공합니다.
- 51개의 작업과 전체 평가 프레임워크가 공개되어 연구 가속화에 기여하고 있습니다.
이 작업은 표준화된 벤치마크와 경험적 스케일링 통찰력을 제공함으로써 에이전트가 실제 경험에서 어떻게 학습하는지에 대한 연구를 가속화합니다.