연구자들은 다중 모달 추론 궤적을 강화 학습 동안 정책과 함께 진화하는 계층적 기술 라이브러리로 압축하는 프레임워크인 SPyCE(Skill-Policy Co-evolution)를 제안했습니다. 이 접근 방식은 스칼라 보상과 정적 메모리 검색을 피함으로써 기존 방법의 한계를 극복하며, 개선된 정책이 더 나은 기술을 제공하고 진화하는 기술이 더 강력한 사전 지식을 제공하는 폐루프를 생성합니다.

  • 실행 기술은 국소적 시각 작업을 포착하고, 워크플로우 기술은 고수준 도구 사용 사전 지식을 인코딩합니다.
  • 정책은 검색된 기술을 조건으로 롤아웃을 안내하며, 기술 라이브러리는 정책에서 생성된 가치 있는 롤아웃을 사용하여 업데이트됩니다.
  • 8개의 벤치마크에 대한 실험 결과 SPyCE가 RL 기반 및 메모리 기반 베이스라인을 일관되게 상회함을 보여주었습니다.
  • 분석 결과 계층적 기술 설계와 공동 진화 메커니즘 모두 프레임워크 성공에 필수적임이 확인되었습니다.

저자들은 이러한 공동 기술-정책 최적화를 유능한 다중 모달 에이전트를 구축하기 위한 유망한 패러다임으로 간주합니다.