연구자들은 대규모 언어 모델 에이전트의 장기 호라이즌 의사결정을 반복적 데이터 큐레이션을 통해 개선하도록 설계된 실패 기반 동적 진화 프레임워크인 CurateEvo를 제안합니다. 큐레이션을 고정된 전처리 단계로 취급하는 기존 방법과 달리, CurateEvo는 전략을 실행 가능한 코드로 표현하고 홀드아웃 개발 세트의 실패한 궤적을 사용하여 이를 재작성합니다.

  • 이 프레임워크는 반복적으로 큐레이션 전략을 재작성하여 재발하는 실패 모드를 진단하고, 이에 따라 데이터를 증강, 필터링 또는 정제합니다.
  • 각 에포크마다 원본 코퍼스를 지도 미세 조정 데이터, 강화 학습 데이터 및 추론 시 메모리 뱅크로 변환합니다.
  • 비용 인식 목적 함수는 효율성을 향상시키기 위해 중복되거나 유용성이 낮은 학습 턴을 프루닝합니다.
  • ACEBench-Agent, BFCL-V4, τ^2-Bench에서의 실험 결과 CurateEvo가 기존 방법을 능가하여 평균 점수를 각각 3.2점과 2.7점 향상시켰음을 보여줍니다.

저자들은 CurateEvo가 다양한 사후 학습 레시피와 호환되며 큐레이션 오버헤드를 상당히 줄인다고 언급합니다.