A Meituan lançou os pesos para o LongCat-Flash-Lite-Sparse, uma nova variante de seu modelo LongCat-Flash-Lite. A atualização introduz o LongCat Sparse Attention (LSA) para substituir o MLA denso e estende o suporte nativo ao comprimento do contexto para 1 milhão de tokens.

  • Substitui a Multi-Head Latent Attention densa pelo LongCat Sparse Attention (LSA).
  • Suporta nativamente comprimentos de contexto de até 1M tokens, em comparação com o limite anterior de 256k.
  • Os pesos agora estão disponíveis para download no Hugging Face.