저자는 언어 모델의 증거 포화 지점(k*)을 측정하기 위해 Hugging Face에서 파일럿 논문과 공개 레지스트리를 게시했습니다. 이 지표는 프롬프트에 주입할 최적의 증거 조각 수를 결정하며, 더 많은 컨텍스트를 추가해도 정확도가 단조롭게 향상되지 않으며 비용이나 인식론적 오염이 증가할 수 있기 때문입니다.
- 연구 결과 작업 유형에 따라 정확도 최적 k가 1에서 전체 증거 집합까지 다양하게 나타나며, 단일 컨텍스트 프로필로는 불충분함을 시사합니다.
- Hugging Face에 공개 Evidence-k Registry가 생성되었으며, 논문에서 35개의 작업 수준 측정값으로 시드되었습니다.
- 레지스트리는 로컬 모델 운영자가 모델 수정, 양자화, 제공 백엔드 및 신뢰성 지표를 문서화하여 기여할 것을 초대합니다.
이 이니셔티브는 정확도와 효율성의 균형을 맞추기 위해 모델 및 백엔드별로 컨텍스트 창을 보정하기 위한 재현 가능한 프로토콜을 제공하는 것을 목표로 합니다.