Tencent는 OLMo3 스타일의 백본으로 구축된 70억 파라미터 모델인 HiLS-Attention-7B 체크포인트를 출시했습니다. 이 모델은 언어 모델링 손실 하에서 청크 선택을 엔드투엔드로 학습하는 청크 기반 희소 어텐션 메커니즘을 구현합니다.
아키텍처는 청크 질량을 추정하기 위해 압축된 청크 키를 사용하고, 어텐션을 청크 간 및 청크 내 소프트맥스로 분할하여 효율적인 긴 컨텍스트 모델링을 위한 네이티브 희소 트레이닝을 가능하게 합니다. 이 체크포인트는 기본 OLMo3-7B 가중치에서 계속 학습되었으며 Tencent-Hunyuan 저장소를 통해 사용할 수 있습니다. 이는 정렬이나 안전 튜닝이 없는 사전 학습된 기본 모델로, 훈련 코퍼스에 존재하는 편향을 반영할 수 있습니다.