구글 클라우드 AI 연구팀과 세인트루이스 워싱턴 대학교, UNC 샤펠틀힐 팀이 EnvHarness를 출시했습니다. 이는 정적 에이전트 벤치마크를 적응형 학습 세계로 변환하는 프로그래머블 레이어입니다. 이 시스템은 표준 reset() 및 step() 인터페이스를 통해 엄격하게 작동하는 플러그인 구성 요소를 사용하여 기존 환경을 감싸며, 기본 시뮬레이터나 사람이 구축한 검증기를 변경하지 않고도 환경이 정책의 학습에 적응할 수 있도록 합니다.

  • EnvHarness는 정책의 롤아웃에서 결함을 진단하고 대상별 래퍼를 자동으로 작성하는 LLM 디자이너인 EnvRigger를 사용합니다.
  • 이 시스템에는 세 가지 조합 가능한 구성 요소가 포함되어 있습니다: Stage(시작 상태 재작성), Contract(동작 및 관찰에 단계별 훅 설치), Chain(공유 예산 하에서 두 번째 환경 구성).
  • ALFWorld, WebArena, SWE-bench Verified, OfficeQA, SpreadsheetBench를 포함한 다섯 가지 벤치마크 전반에 걸쳐 EnvHarness를 통해 채굴된 기술은 홀드아웃 작업에서 최대 9.0점의 향상을 보입니다.
  • SWE-bench Verified에서 이 접근 방식은 평균 실행 단계를 9.8% 줄이면서 해결률을 49.88에서 52.58로 높입니다.
  • 코드는 Apache-2.0 Python으로 제공되며, 재설정 가능한 환경과 기존 에이전트 평가 루프만 필요합니다.

저자들은 이것이 중요한 이유를 정적 환경은 해결되면 더 이상 가르치지 않는 반면, EnvHarness는 학습 중에 식별된 특정 약점을 타겟팅하여 에이전트가 계속 학습할 수 있게 하기 때문이라고 봅니다.