연구자들은 실패한 궤적을 활용하여 모델 성능을 향상시키는 컴퓨터 사용 에이전트용 실패 기반 자기 개선 루프를 제안합니다. 이 방법은 LLM을 사용하여 실패 모드를 진단하고 코드 패치를 생성하며, 이는 인간에 의해 가볍게 검증되어 에이전트를 업그레이드하는 데 사용됩니다.

  • 이 접근 방식은 검증 가능한 환경에서 작동하는 멀티모달 대규모 언어 모델(MLLM)을 대상으로 합니다.
  • 버려진 실패한 궤적에서 정보를 추출하여 표준 성공 기반 파이프라인을 보완합니다.
  • OpenCUA-72B 모델을 사용하여 OSWorld 벤치마크에서 검증되었으며, 성공률은 42.3%에서 48.9%로 향상되었습니다.
  • 이 개선은 추가 학습 비용 없이 6.6 퍼센트 포인트의 향상을 의미하며, 추론 오버헤드도 제한적입니다.

이 연구는 실패 기반 자기 개선이 기존 파이프라인에 대한 실용적인 보완책이 되어 더 효율적인 에이전트 개선을 가능하게 함을 보여줍니다.