연구자들은 자율 금융 에이전트의 행동 의무가 장기 운영 기간 동안 영향력을 잃는 현상인 의무 현저성 감쇠(MSD)를 측정하도록 설계된 시뮬레이션 벤치마크인 FinPersona-Bench를 소개했다. 이 벤치마크는 가격과 근본 가치를 분리하는 합성 시장을 사용하여 신호 없이 거래하고, 폭락 시 공황 매도하며, 거품 동안 가치를 무시하는 세 가지 실패 모드를 평가한다.
- 18개의 최첨단 및 오픈소스 LLM에 대한 평가 결과, MSD는 시간이 지남에 따라 누적되며 모델에 따라 달라지는 것으로 나타났다.
- 폭락 시나리오에서 정적 에이전트와 주기적인 의무 재접근을 받는 에이전트 간의 행동 격차는 첫 번째 분기부터 마지막 분기까지 4.4배 증가한다.
- 의무 재접근은 신호가 적은 시장에서 보수적인 에이전트에는 도움이 되지만, 동일한 환경에서 공격적인 에이전트의 행동을 악화시킨다.
이러한 발견은 신뢰할 수 있는 장기 운영을 위해서는 에이전트 프로필과 시장 체제에 기반한 선택적이고 의무를 인지하는 재접근이 필요함을 시사한다.