A Meituan lançou os pesos para o LongCat-Flash-Lite-Sparse, uma nova variante de seu modelo LongCat-Flash-Lite. A atualização introduz o LongCat Sparse Attention (LSA) para substituir o MLA denso e estende o suporte nativo ao comprimento do contexto para 1 milhão de tokens.
- Substitui a Multi-Head Latent Attention densa pelo LongCat Sparse Attention (LSA).
- Suporta nativamente comprimentos de contexto de até 1M tokens, em comparação com o limite anterior de 256k.
- Os pesos agora estão disponíveis para download no Hugging Face.