Los investigadores proponen la Atención Dispersa de Marcas Jerárquicas (HiLS) Attention, un mecanismo disperso por fragmentos que aprende la selección de fragmentos de extremo a extremo bajo la pérdida de modelado del lenguaje para abordar el costo cuadrático y la mala extrapolación de longitud de la atención densa.

  • HiLS factoriza jerárquicamente la atención, permitiendo que cada consulta extraiga información específica del fragmento de forma independiente antes de fusionar los resultados basándose en las puntuaciones de recuperación.
  • El método optimiza directamente las puntuaciones de recuperación con la pérdida LM, habilitando el entrenamiento disperso nativo sin selección inexacta de fragmentos.
  • HiLS-Attention extrapoló más de 64 veces la longitud del contexto de entrenamiento con un 90% de precisión en la recuperación, superando a la atención completa en escenarios de contexto largo.
  • Los modelos existentes de atención completa pueden convertirse a HiLS-Attention mediante preentrenamiento continuo ligero, preservando el rendimiento en dominio mientras se ganan capacidades de contexto ultra largo.

HiLS-Attention rompe la típica compensación entre eficiencia y rendimiento al combinar el acceso KV disperso con una extrapolación superior, permitiendo LLMs de contexto largo que son más eficientes y efectivos que sus contrapartes de atención completa.