연구자들은 LLM 기반 에이전트 시스템의 비지도 실패 귀속을 위한 경량 모델인 OAT를 제안했습니다. 이 모델은 성공적인 궤적만 사용하여 훈련됩니다. 신경 제어 미분 방정식을 사용한 원클래스 학습으로 문제를 구성함으로써, OAT는 학습된 동역학으로부터의 편차를 기반으로 추론 시 오류 단계를 식별합니다.

  • 단계별 감독 없이 100개의 성공적인 궤적만으로 훈련합니다.
  • 잠재 공간의 편차를 기반으로 실패한 궤적의 단계에 이상 점수를 할당합니다.
  • 도메인 내 및 분포 밖에서 프롬프팅 기반 베이스라인 대비 각각 F1 점수가 +20% 및 +7% 향상되었습니다.
  • 기존 프롬프팅 기반 접근 방식보다 200–5000배 더 빠르게 실행됩니다.

OAT는 비용이 많이 드는 오류 주석의 필요성을 제거함으로써 에이전트 시스템 실패를 진단하기 위한 유망하고 효율적인 방향을 제공합니다.