Tencentは、OLMo3スタイルのバックボーンに基づいて構築された70億パラメータのモデルであるHiLS-Attention-7Bチェックポイントをリリースしました。このモデルは、言語モデリング損失の下でチャンク選択をエンドツーエンドで学習するチャンク単位スパース注意機構を実装しています。
アーキテクチャは、チャンクの質量を推定するために圧縮されたチャンクキーを使用し、注意機構をチャンク間とチャンク内のsoftmaxに分解することで、効率的な長文脈モデリングのためのネイティブスパーストレーニングを可能にします。 このチェックポイントは、ベースのOLMo3-7B重みから継続的にトレーニングされており、Tencent-Hunyuanリポジトリを通じて利用可能です。 これはアライメントや安全チューニングが行われていない事前学習済みベースモデルであり、トレーニングコーパスに含まれるバイアスを反映する可能性があります。