새로운 제안은 단계별 탐색을 가능하게 하기 위해 후기 청킹과 주의 가중치 간선을 결합한 LLM 메모리 구조를 설명합니다. 이 시스템은 문장 간 주의를 계산하는 Jina AI의 임베딩 모델을 활용하여 문서의 내부 처리에서 간선 가중치를 유도합니다.
- 후기 청킹은 전체 텍스트를 토큰화하고 임베딩한 후 청크 벡터를 유도하여 문서 수준의 컨텍스트를 보존합니다.
- 순전파에서의 주의 행렬은 그래프 간선을 정의하며, 가중치는 한 청크가 다른 청크에 얼마나 주의를 기울였는지에 기반합니다.
- 검색은 감소하는 예산을 가진 군집 탐색을 사용하며, 고정 홉 수가 아닌 비용이 제한을 초과할 때 중지됩니다.
- 임베딩 업데이트는 남은 예산에 의해 조정되어 중심 노드가 먼 노드보다 더 많이 변화하도록 보장합니다.
이 접근 방식은 검색된 정보의 관련성이 메모리 상태에 미치는 영향을 결정하는 동적 컨텍스트 관리를 가능하게 합니다.