Tencent publie HiLS-Attention-7B avec une attention creuse par blocs

Tencent a publié le checkpoint HiLS-Attention-7B, un modèle de 7 milliards de paramètres construit sur une architecture de type OLMo3. Le modèle implémente un mécanisme d'attention creuse par blocs qui apprend la sélection des blocs de bout en bout sous la perte de modélisation du langage.

L'architecture utilise des clés de bloc compressées pour estimer la masse des blocs et factorise l'attention en softmax inter-blocs et intra-blocs, permettant un entraînement creux natif pour une modélisation efficace des contextes longs. Le checkpoint est entraîné de manière continue à partir des poids de base OLMo3-7B et est disponible via le dépôt Tencent-Hunyuan. Ceci est un modèle de base pré-entraîné sans alignement ni réglage de sécurité, ce qui signifie qu'il peut refléter les biais présents dans le corpus d'entraînement.