Meituan은 자신의 LongCat-Flash-Lite 모델의 새로운 변형인 LongCat-Flash-Lite-Sparse의 가중치를 출시했습니다. 이번 업데이트는 밀집된 MLA를 대체하기 위해 LongCat Sparse Attention (LSA)를 도입하고 네이티브 컨텍스트 길이 지원을 100만 토큰으로 확장합니다.

  • 밀집된 Multi-Head Latent Attention을 LongCat Sparse Attention (LSA)로 대체합니다.
  • 이전 256k 제한과 비교하여 최대 1M 토큰의 컨텍스트 길이를 네이티브로 지원합니다.
  • 가중치는 이제 Hugging Face에서 다운로드할 수 있습니다.