연구자들은 진행 중인 세션 중 사용 가능한 도구의 신뢰성이 조용히 변경될 때 LLM 에이전트가 어떻게 적응하는지 평가하기 위한 벤치마크를 도입했습니다. 이 프레임워크는 중복성을 갖춘 도구 스킬 라이브러리를 마운트하고 숨겨진 경계에서 신뢰할 수 있는 도구 그룹을 전환하기 위해 분기된 일정을 사용합니다.
- 에이전트는 각 경계 주변의 몇 턴 이내에 작은 반복 루틴에 정착하며, 이산 값에 대한 호출 점유율을 집중합니다.
- 세트 시프트 정확도는 각 시프트 후 창에서 대상 도구 그룹으로 라우팅하는 결합 확률로 점수화됩니다.
- 오픈 소스 에이전틱 해시에서 오픈 웨이트 LLM을 테스트하면 동일한 루틴 전반에 걸쳐 질적으로 다른 실패 모드가 드러납니다.
- 이 연구는 세트 프레이밍(도구를 경쟁적이거나 보완적으로 제시하는 것)이 라우팅 역학을 변화시킨다는 것을 발견했습니다.
이 평가는 숨겨진 신뢰성 변화를 마주할 때 도구 제시가 에이전트 행동에 미치는 영향과 특정 실패 모드를 부각시킵니다.