Pesquisadores propõem o R3Con, uma estrutura que operacionaliza princípios da teoria cognitiva para construir representações eficazes de contextos muito grandes. O sistema aborda o desafio de montar informações interdependentes espalhadas por fontes vastas além dos limites padrão de contexto do modelo.
- Avaliado contra nove linhas de base em dois benchmarks para raciocínio sobre grandes corpora de documentos.
- Supera a linha de base mais forte em 20 e 8,4 pontos percentuais, respectivamente.
- Permite que modelos menores superem os maiores: R3Con com modelos de 4B e 9B supera todas as linhas de base avaliadas de 35B.
- R3Con com um modelo de 35B-A3B supera o Claude Code com Claude-Sonnet-5 a um custo 3,7 vezes menor.
Os resultados indicam que representações de contexto seguindo essas abordagens fundamentadas podem reduzir a dependência da escala do modelo, apontando para desempenho de fronteira impulsionado por modelos menores.