Pesquisadores propõem o Transformer de Memória Recorrente Associativa (ARMT) para habilitar o processamento de contexto longo em grandes modelos de linguagem, ao mesmo tempo que alcança escalonamento de memória constante e eficiência aprimorada.
- O trabalho introduz dois conjuntos de dados específicos de domínio para contextos longos destinados a avaliar cenários realistas de ajuste fino em domínios estreitos.
- É fornecida uma receita de treinamento abrangente, combinando pré-treinamento contínuo, geração de dados sintéticos, aprendizado por currículo e integração seletiva de memória associativa em camadas específicas do modelo.
- Modelos aumentados com ARMT processam entradas bem além dos limites originais de contexto sem degradar o desempenho em relação às linhas de base dentro do limite.
- A abordagem generaliza-se mais efetivamente para comprimentos de contexto fora da distribuição (out-of-distribution).
- Os modelos requerem 30% menos FLOPs enquanto preservam o desempenho da linha de base dentro da janela de contexto original.
Este método permite que os LLMs lidem com entradas mais longas de forma eficiente, abordando as restrições de computação quadrática e escalonamento de memória linear dos transformadores padrão.