Los investigadores proponen el Transformer de Memoria Recurrente Asociativa (ARMT) para habilitar el procesamiento de contexto largo en modelos de lenguaje grandes, logrando al mismo tiempo un escalado de memoria constante y una eficiencia mejorada.
- El trabajo introduce dos conjuntos de datos específicos de dominio para contextos largos destinados a evaluar escenarios realistas de ajuste fino en dominios estrechos.
- Se proporciona una receta de entrenamiento integral que combina preentrenamiento continuo, generación de datos sintéticos, aprendizaje por currículo e integración selectiva de memoria asociativa en capas específicas del modelo.
- Los modelos aumentados con ARMT procesan entradas muy más allá de los límites originales de contexto sin degradar el rendimiento en comparación con las líneas base dentro del límite.
- El enfoque se generaliza de manera más efectiva a longitudes de contexto fuera de la distribución (out-of-distribution).
- Los modelos requieren un 30% menos de FLOPs mientras preservan el rendimiento de la línea base dentro de la ventana de contexto original.
Este método permite que los LLM manejen entradas más largas de manera eficiente, abordando las restricciones de cómputo cuadrático y escalado de memoria lineal de los transformadores estándar.