研究者らは、非常に大きなコンテキストの有効な表現を構築するために認知理論の原則を運用化するハーネスであるR3Conを提案する。このシステムは、標準的なモデルのコンテキスト制限を超えて広大なソースに散らばった相互依存情報を組み立てる課題に対処する。
- 大規模ドキュメントコーパス上の推論に関する2つのベンチマークで9つのベースラインに対して評価。
- それぞれ最も強力なベースラインを20および8.4パーセントポイント上回る。
- より小さなモデルがより大きなモデルを上回ることを可能にする：R3Conは4Bおよび9Bモデルで、評価されたすべての35Bベースラインを上回る。
- R3Conは35B-A3Bモデルを使用し、Claude-Sonnet-5を搭載したClaude Codeを3.7倍低いコストで上回る。
結果は、これらの原則的なアプローチに従うコンテキスト表現がモデルの規模への依存を減らす可能性を示しており、より小さなモデルによって駆動されるフロンティアレベルのパフォーマンスへと向かっていることを示唆している。