연구자들은 메모리 작업을 마르코프 결정 과정으로 모델링하여 LLM 에이전트에서 적응적 검색 및 통합을 위한 온라인 정책을 학습하는 프레임워크인 MemCon을 소개했습니다. 정적 휴리스틱과 달리 이 접근 방식은 컨텍스트에 기반하여 언제, 얼마나 많이 검색할지 동적으로 결정합니다.

  • MemCon은 기존 메모리 구현을 래핑하며 사전 훈련이나 추가 LLM 호출 없이 작업별 이진 피드백에서 학습합니다.
  • 수십 개의 작업 내에서 수렴하는 UCB 탐색이 포함된 경량 테이블형 문맥 밴디트를 사용합니다.
  • 6개의 벤치마크, 3개의 에이전트 프레임워크, 3개의 LLM 백본에 걸쳐 MemCon은 작업 성공률에서 최대 15.2 포인트 향상되며 베이스라인을 능가했습니다.
  • 이 방법은 성능을 개선하면서 토큰 소비량을 5--20% 줄입니다.

MemCon은 에이전트가 경험 축적과 계획 재사용을 적응적으로 관리할 수 있도록 함으로써 고정된 메모리 접근의 병목 현상을 해결합니다.