Meituanは、LongCat-Flash-Liteモデルの新バリアントであるLongCat-Flash-Lite-Sparseのウェイトを公開しました。今回のアップデートでは、密集したMLAに代わってLongCat Sparse Attention (LSA)を導入し、ネイティブなコンテキスト長のサポートを100万トークンに拡張します。

  • 密集したMulti-Head Latent AttentionをLongCat Sparse Attention (LSA)に置き換えます。
  • 以前の256kの制限と比較して、最大1Mトークンのコンテキスト長をネイティブにサポートします。
  • ウェイトは現在Hugging Faceでダウンロード可能です。