Tencent ha lanzado el checkpoint HiLS-Attention-7B, un modelo de 7 mil millones de parámetros construido sobre una arquitectura OLMo3-style. El modelo implementa un mecanismo de atención dispersa por fragmentos que aprende la selección de fragmentos end-to-end bajo la pérdida de modelado del lenguaje.
La arquitectura utiliza claves de fragmento comprimidas para estimar la masa del fragmento y factoriza la atención en softmax inter-fragmento e intra-fragmento, permitiendo un entrenamiento disperso nativo para un modelado eficiente de contexto largo. El checkpoint es entrenado continuamente a partir de los pesos base OLMo3-7B y está disponible a través del repositorio Tencent-Hunyuan. Este es un modelo base preentrenado sin ajuste de alineación o seguridad, lo que significa que puede reflejar sesgos presentes en el corpus de entrenamiento.