연구자들은 최종 답변 정확성에만 의존하는 대신 대화를 수명 주기 연산의 시퀀스로 재구성하는 벤치마크인 MemOps를 소개했습니다. 이 프레임워크는 각 메모리 이벤트를 트리거, 대상 및 상태 전이를 지정하는 구조화된 트레이스로 표현하여 실패의 이질적인 원인을 분리합니다.
- MemOps는 제어 가능한 생성 파이프라인을 사용하여 기억, 망각, 업데이트와 같은 연산을 긴 작업 지향 대화에 임베딩합니다.
- 인접 증거 및 장기 컨텍스트 설정 하에서 평가되는 6가지 범주의 연산 수준 프로브와 함께 골드 연산 트레이스를 생성합니다.
- 벤치마크는 현재 시스템에서 세션 수준 검색이 턴 수준 검색보다 더 우수함을 보여줍니다.
- 장기 컨텍스트 모델은 순서가 지정된 메모리 상태 궤적을 재구성하는 데 여전히 현저히 약합니다.
이 접근 방식은 장기 기억 평가를 블랙박스 점수 매핑에서 해석 가능한 연산 수준 진단으로 전환하여 신뢰성을 더 잘 평가합니다.