TIS 2.0 업데이트는 추가 학습 없이 검색 증강 생성(RAG)에서 "중간 유실" 위치 편향을 제거하는 문서 재배치 기능을 도입합니다. 학습된 토큰 중요도 점수를 적용하여 검색된 문서를 재배치함으로써 시스템은 위치 간극을 0으로 만들고 베이스라인 대비 정확 일치(Exact Match) 정확도를 5%p 향상시킵니다.

  • TIS 점수를 통한 문서 재배치는 LITM 간극을 0.000으로 줄이고 EM을 21.7%로 높여 MS-MARCO 쿼리에서 오라클 성능과 일치합니다.
  • KV 캐시 압축을 위해 원래 훈련된 기존 `tis-stage3-ert` 체크포인트는 전용 재순위화기(reranker)와 동일한 결과를 보이며 문서 재배치에 제로샷으로 이전됩니다.
  • 새로운 `QueryAwareImportanceHead` 모듈은 교차 어텐션 쿼리-컨텍스트 상호작용과 정보이엔씨(InfoNCE) 대조 학습을 추가하여 문서별 관련성 점수를 매깁니다.
  • 추론적 디코딩에 TIS 중요도 편향을 통합하면 작성기(drafter) 수용 길이가 5.80에서 6.57로 증가하여 LLaMA-3 모델에서 12.5%의 속도 향상을 제공합니다.
  • 새로운 체크포인트 `tis-passage-reranker`와 `tis-v8b-hard-anchor`가 업데이트된 GitHub 저장소와 함께 HuggingFace에서 이제 사용 가능합니다.

저자들은 TIS가 위치 편향을 효과적으로 해결하지만, 답변 추출이 주요 병목 현상이라고 지적합니다. 최적의 재배치 후에도 테스트 사례의 약 76%가 여전히 부정확하기 때문입니다.