재귀적 증거 재생을 통한 긴 문맥 추론 개선: ReContext

연구자들은 모델의 내부 주의 메커니즘 내에서 관련 증거를 재귀적으로 재생하여 긴 문맥 추론을 향상시키는 학습 없는 추론 방법인 ReContext를 제안했습니다.

• 이 방법은 모델 내부 관련성 신호를 사용하여 쿼리 조건부 증거 풀을 구성하고 완전한 원래 문맥을 유지하면서 최종 생성 전에 이를 재생합니다.
• 이 접근 방식은 학습, 외부 메모리 또는 문맥 가지치기가 필요 없이 증거 조직과 답변 생성을 분리합니다.
• 128K 문맥 길이를 가진 8개의 긴 문맥 데이터셋에 대한 실험은 Qwen3-4B, Qwen3-8B 및 Llama3-8B 백본 전반에 걸쳐 일관된 개선을 보여주었습니다.
• 이 기술은 입력에 이미 존재하는 증거를 효과적으로 활용하여 테스트된 세 모델 모두에서 최고의 평균 순위를 달성했습니다.

ReContext는 문맥 접근과 효과적인 활용 사이의 격차를 해소하여 추가 학습 오버헤드 없이 LLM이 추론 작업을 위해 긴 입력을 더 잘 활용할 수 있도록 합니다.