연구자들은 계층형 랜드마크 희소(HiLS) Attention을 제안했습니다. 이는 청크별 희소 메커니즘으로, 언어 모델링 손실 하에서 청크 선택을 엔드투엔드로 학습하여 밀집 어텐션의 이차 비용과 긴 길이 확장성의 부족 문제를 해결합니다.

  • HiLS는 어텐션을 계층적으로 분해하여 각 쿼리가 검색 점수에 기반해 출력을 융합하기 전에 청크별 정보를 독립적으로 추출할 수 있게 합니다.
  • 이 방법은 LM 손실로 검색 점수를 직접 최적화하여 부정확한 청크 선택 없이 네이티브 희소 훈련을 가능하게 합니다.
  • HiLS-Attention은 90%의 검색 정확도로 훈련 컨텍스트 길이의 64배 이상을 확장하며, 긴 컨텍스트 시나리오에서 풀 어텐션보다 우수합니다.
  • 기존 풀 어텐션 모델은 경량화된 지속 사전 훈련을 통해 HiLS-Attention으로 변환할 수 있으며, 도메인 내 성능을 유지하면서 초장문 컨텍스트 능력을 얻습니다.

HiLS-Attention은 희소 KV 접근과 우수한 확장을 결합하여 일반적인 효율성-성능 트레이드오프를 깨뜨리며, 풀 어텐션 모델보다 더 효율적이고 효과적인 긴 컨텍스트 LLM을 가능하게 합니다.