Les chercheurs proposent R3Con, un harnais qui opérationnalise les principes de la théorie cognitive pour construire des représentations efficaces de contextes très larges. Le système aborde le défi d'assembler des informations interdépendantes dispersées dans des sources vastes au-delà des limites de contexte standard du modèle.

  • Évalué contre neuf lignes de base sur deux benchmarks pour le raisonnement sur de grands corpus de documents.
  • Surpasse la ligne de base la plus forte de 20 et 8,4 points de pourcentage respectivement.
  • Permet aux modèles plus petits de surpasser les plus grands : R3Con avec des modèles de 4B et 9B bat toutes les lignes de base évaluées de 35B.
  • R3Con avec un modèle de 35B-A3B surpasse Claude Code avec Claude-Sonnet-5 à un coût 3,7 fois inférieur.

Les résultats indiquent que les représentations de contexte suivant ces approches fondées sur des principes peuvent réduire la dépendance à l'échelle du modèle, pointant vers une performance de pointe alimentée par des modèles plus petits.