Pesquisadores propõem a Atenção Esparsa Hierárquica de Marcos (HiLS) Attention, um mecanismo esparsos por chunk que aprende a seleção de chunks de ponta a ponta sob a perda de modelagem de linguagem para abordar o custo quadrático e a má extrapolação de comprimento da atenção densa.

  • HiLS fatoriza hierarquicamente a atenção, permitindo que cada query extraia informações específicas do chunk independentemente antes de fundir os outputs com base nas pontuações de recuperação.
  • O método otimiza diretamente as pontuações de recuperação com a perda LM, habilitando o treinamento esparsos nativo sem seleção imprecisa de chunks.
  • HiLS-Attention extrapola mais de 64 vezes o comprimento do contexto de treinamento com 90% de precisão na recuperação, superando a atenção completa em cenários de contexto longo.
  • Modelos existentes de atenção completa podem ser convertidos para HiLS-Attention via pré-treinamento contínuo leve, preservando o desempenho in-domain enquanto ganha capacidades de contexto ultra-longo.

HiLS-Attention quebra a típica compensação entre eficiência e desempenho ao combinar acesso KV esparsos com extrapolação superior, permitindo LLMs de contexto longo que são mais eficientes e eficazes do que suas contrapartes de atenção completa.