24 GB 노트북에서 실행 가능한 배포형 4B 생성기를 평가한 연구는 온디바이스 딥 리서치 작업에서 인용이 어떻게 충실하고 포괄적이 되는지 결정합니다. 이 연구는 인용된 주장의 충실도와 신뢰할 수 있는 커버리지를 분리하여 소스 노출 길이와 소스 품질이 이러한 지표에 미치는 영향을 분석합니다.
- 소스별 노출을 400자에서 1500자로 증가시키면 검색된 소스에서 충실도가 0.45에서 0.58로, 골드 소스에서 0.37에서 0.58로 상승하여 충실도가 소스의 정확성이 아닌 노출에 의해 제한됨을 보여줍니다.
- 검색률이 약 0.40으로 유지되어 어떤 소스가 인용될지 제한하기 때문에, 검색된 소스에서 신뢰할 수 있는 커버리지는 노출과 관계없이 약 0.22 근처로 유지됩니다.
- 추가 노출에는 약 235개의 출력 토큰 비용이 듭니다.
저자들은 실용적인 접근 방식으로 먼저 저렴한 레버인 소스별 노출을 높이고, 그 다음 커버리지 개선을 위한 유일한 남은 요소로서 검색 재귀율을 처리해야 한다고 결론짓습니다.