media r/LocalLLaMA · il y a 1 h · open_models

Meituan lance LongCat-Flash-Lite-Sparse avec une fenêtre de contexte de 1M

Traduit de English → Français

Meituan a publié les poids pour LongCat-Flash-Lite-Sparse, une nouvelle variante de son modèle LongCat-Flash-Lite. La mise à jour introduit LongCat Sparse Attention (LSA) pour remplacer le MLA dense et étend la prise en charge native de la longueur du contexte à 1 million de tokens.

Remplace l'attention Multi-Head Latent dense par LongCat Sparse Attention (LSA).
Prend nativement en charge des longueurs de contexte allant jusqu'à 1M tokens, contre une limite précédente de 256k.
Les poids sont désormais disponibles au téléchargement sur Hugging Face.

Importance 2/3 r/LocalLLaMA Inference efficiency Open weights

Lire l'original

Tencent publie AngelSpec, un cadre d'entraînement unifié pour MTP et le décodage spéculatif bloc-parallèle

Tencent a open-sourcé AngelSpec, un framework d'entraînement natif torch qui prend en charge à la fois la prédiction multi-jeton autoregressive (MTP) et les drafters de famille DFlash bloc-parallèles pour les modèles Hy3. Le système traite l'hétérogénéité des charges de travail comme une contrainte de conception principale, lui permettant de spécialiser la structure, les données d'entraînement et la profondeur de vérification en fonction de cas d'utilisation spécifiques.

lab Liquid AI · il y a 4 j

Liquid AI publie LFM2.5-Encoders pour une inférence longue-contexte rapide sur CPU

Liquid AI a publié deux nouveaux modèles encodeurs, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, conçus pour fournir un encodage bidirectionnel de haute qualité avec une mise à l'échelle efficace jusqu'à une longueur de contexte de 8 192 tokens.

lab Hugging Face Blog · il y a 4 j

Liquid AI lance les LFM2.5-Encoders pour une inférence longue contexte rapide sur CPU

Liquid AI a publié deux modèles d'encodeur à poids ouverts, LFM2.5-Encoder-230M et LFM2.5-Encoder-350M, conçus pour une inférence efficace de contexte long sur les processeurs. Ces modèles prennent en charge un contexte de 8 192 tokens et sont construits en convertissant les backbones du décodeur LFM2 en encodeurs bidirectionnels à l'aide de la modélisation de langage masquée.

lab Tencent Hunyuan (HF) · il y a 9 j · 2 vues

Tencent open-source les modèles de traduction multilingue Hy-MT2 et IFMTBench

Tencent a publié la famille de modèles de traduction multilingue « à réflexion rapide » Hy-MT2, incluant les tailles 1.8B, 7B et 30B-A3B (MoE), ainsi que le benchmark IFMTBench pour évaluer les capacités de suivi d'instructions.

media MarkTechPost · il y a 15 j · 5 vues

PrismML publie Bonsai 27B, compressant Qwen3.6-27B en poids 1-bit et ternaires

PrismML a publié Bonsai 27B, une quantification basse précision du modèle Qwen3.6-27B qui permet d'exécuter de grands modèles multimodaux sur des ordinateurs portables et des téléphones sans réentraînement.