Los autores proponen MATCH, un marco que aumenta los mecanismos de atención dispersa con información integrada dinámicamente en el contexto para abordar los cuellos de botella de escalabilidad de la atención tradicional en escenarios de contexto largo.
- Aborda el costo computacional cuadrático y la degradación del rendimiento asociados con restricciones estructurales rígidas como ventanas de atención local.
- Integra un sistema de recuperación eficiente para incorporar dinámicamente información en el contexto en arquitecturas de atención dispersa.
- Demuestra mejoras significativas del rendimiento tanto en tareas sintéticas como en tareas reales de lenguaje natural que requieren recall a largo alcance preciso.
MATCH sirve como un enfoque versátil para mejorar las capacidades de recuperación en contexto mientras se mantienen los beneficios de eficiencia de los modelos de atención dispersa.