Les chercheurs proposent l'Attention HiLS (Hierarchical Landmark Sparse), un mécanisme sparse par chunk qui apprend la sélection des chunks de bout en bout sous la perte de modélisation du langage pour adresser le coût quadratique et la mauvaise extrapolation de longueur de l'attention dense.
- HiLS factorise hiérarchiquement l'attention, permettant à chaque requête d'extraire indépendamment l'information spécifique au chunk avant de fusionner les sorties sur la base des scores de récupération.
- La méthode optimise directement les scores de récupération avec la perte LM, permettant un entraînement sparse natif sans sélection de chunks imprécise.
- HiLS-Attention extrapolant plus de 64 fois la longueur du contexte d'entraînement avec une précision de récupération de 90 %, surpassant l'attention complète dans les scénarios à long contexte.
- Les modèles d'attention complète existants peuvent être convertis en HiLS-Attention via un pré-entraînement continu léger, préservant la performance in-domain tout en acquérant des capacités de contexte ultra-long.
HiLS-Attention brise le compromis habituel efficacité-performance en combinant l'accès KV sparse avec une extrapolation supérieure, permettant des LLM à long contexte à la fois plus efficaces et plus performants que leurs homologues à attention complète.