연구자들은 매우 큰 컨텍스트의 효과적인 표현을 구축하기 위해 인지 이론 원칙을 운영화하는 하네스인 R3Con을 제안합니다. 이 시스템은 표준 모델 컨텍스트 제한을 넘어 방대한 소스에 흩어진 상호 의존 정보를 조립하는 과제를 해결합니다.
- 대규모 문서 코퍼스의 추론에 대한 두 가지 벤치마크에서 아홉 가지 베이스라인과 비교 평가되었습니다.
- 각각 가장 강력한 베이스라인보다 20 및 8.4 포인트 더 높습니다.
- 더 작은 모델이 더 큰 모델을 능가하도록 합니다: R3Con은 4B 및 9B 모델로 평가된 모든 35B 베이스라인을 능가합니다.
- R3Con은 35B-A3B 모델과 함께 Claude-Sonnet-5를 사용한 Claude Code보다 3.7배 낮은 비용으로 더 우수합니다.
결과들은 이러한 원칙적인 접근법을 따르는 컨텍스트 표현이 모델 규모에 대한 의존성을 줄일 수 있음을 나타내며, 더 작은 모델에 의해 구동되는 최전선 수준의 성능을 향해 나아가고 있음을 시사합니다.