media r/LocalLLaMA · il y a 2 j · open_models

inclusionAI lance le modèle multimodal Ling-3.0-flash-VL

Traduit de English → Français

inclusionAI a publié le modèle open-source Ling-3.0-flash-VL, qui étend les capacités linguistiques et de raisonnement de son prédécesseur grâce à une compréhension native des images et des vidéos.

Le modèle de 124B paramètres active uniquement 5.5B paramètres par token et prend en charge une fenêtre de contexte allant jusqu'à 1M tokens. Son architecture comprend un encodeur visuel ViT aligné via un projecteur MLP, VideoRoPE pour le codage temporel, et un noyau hybride alternant des couches KDA et Gated MLA.

Cette conception intègre les informations visuelles dans le raisonnement du monde réel et les flux de travail agents, tout en maintenant l'efficacité de l'inférence grâce à un Mixture of Experts creux.

Importance 2/3 r/LocalLLaMA Multimodal Open weights

Lire l'original

DeepSeek lance V4-1 Flash, un modèle MoE de 552B avec un contexte de 1M tokens

DeepSeek a lancé son nouveau modèle, DeepSeek V4-1 Flash. C'est un modèle Mixture-of-Experts (MoE) multimodal disposant d'une base de 552 milliards de paramètres.

lab Hugging Face Blog · il y a 7 j · 18 vues

NeoMME publie des encodeurs multimodaux efficaces avec recherche à interaction dense et tardive

Les chercheurs présentent NeoMME, une famille d'encodeurs multimodaux multilingues de 260M et 800M paramètres qui traitent le texte et les patches d'image bruts à l'aide d'un seul Transformer bidirectionnel. Contrairement aux modèles de langage visuel génératifs, NeoMME ne repose pas sur des tours de vision pré-entraînés séparés ou des décodeurs causaux ; il est entraîné entièrement从零 avec un objectif de diffusion discrète masquée.

media r/LocalLLaMA · il y a 10 j · 6 vues

DeepSeek publie DeepSeek-V4-Flash-Vision-Exp sur Hugging Face

DeepSeek a publié le checkpoint du modèle DeepSeek-V4-Flash-Vision-Exp sur Hugging Face. Le dépôt est désormais accessible au public.

media MarkTechPost · il y a 15 j · 40 vues

L'équipe Qwen d'Alibaba publie Qwen3.8-Flash-Next, une version préliminaire de 125B anticipant Qwen4

L'équipe Qwen d'Alibaba a publié Qwen3.8-Flash-Next, un modèle multimodal à experts mélangés (Mixture-of-Experts) à poids ouverts conçu pour anticiper l'architecture de la future série Qwen4. Le point de contrôle associe une colonne vertébrale de 125B à une table d'embeddings N-gram de 51B et un module de prédiction multi-jeton de 4B, n'activant que 6B de paramètres par jeton.

media r/LocalLLaMA · il y a 15 j · 57 vues

Zhipu AI publie GLM-5.3-Flash, un modèle open-weight multimodal

Zhipu AI a publié GLM-5.3-Flash, le premier modèle nativement multimodal de la série GLM-5 et la première version open-weight de l'architecture glm5_next. Le modèle à 320 milliards de paramètres est entraîné sur un corpus multimodal de 30 billions de tokens et intègre un mécanisme d'attention hybride combinant une attention linéaire et une attention creuse pour réduire les coûts de service sur des contextes longs.