media r/LocalLLaMA · il y a 1 h · open_models

Google DeepMind lance EmbeddingGemma 2, un modèle d'embedding multimodal ouvert

Traduit de English → Français

Google DeepMind a publié EmbeddingGemma 2, un modèle d'embedding multimodal open source qui mappe le texte, le code, les images, la vidéo et l'audio dans un espace vectoriel unifié de 768 dimensions. Le modèle comprend 740 millions de paramètres au total, combinant un encodeur de texte de 270M de paramètres avec des encodeurs modulaires de vision (170M) et d'audio (300M).

Conçu pour fonctionner sur du matériel grand public comme les appareils mobiles et les ordinateurs portables pour des représentations sémantiques à faible latence.
Prend en charge les applications sur l'appareil, y compris la recherche, la génération augmentée par récupération (RAG), la classification et le clustering.
Disponible en tant que modèle ouvert via Hugging Face.

Importance 2/3 r/LocalLLaMA Google DeepMind Multimodal Open weights

Lire l'original

Google lance EmbeddingGemma 2, un modèle ouvert de première classe pour les embeddings multimodaux natifs

Google a lancé EmbeddingGemma 2, un modèle open source conçu pour les embeddings multimodaux natifs.

arxiv arXiv cs.CL · il y a 91 j · 24 vues

Gemma 4 introduit des modèles nativement multimodaux avec une architecture unifiée sans encodeur

Google présente Gemma 4, une nouvelle génération de modèles de langage ouverts et nativement multimodaux, dotés d'architectures denses et de Mixture-of-Experts, allant de 2,3 milliards à 31 milliards de paramètres.

arxiv Moonshot AI (arXiv) · il y a 574 j · 3 vues

Google publie les modèles multimodaux Gemma 3 avec un contexte de 128K et une efficacité améliorée

Google présente Gemma 3, une nouvelle famille de modèles multimodaux ouverts et légers allant de 1 à 27 milliards de paramètres. Cette mise à jour ajoute la compréhension visuelle, le support pour au moins 128K tokens de contexte, et une couverture multilingue élargie par rapport aux versions précédentes.

arxiv arXiv cs.CL · il y a 14 h · 17 vues

Eduardo : l'apprentissage par renforcement multi-tours entraîne des tuteurs LLM à enseigner via un post-test masqué

Les chercheurs présentent Eduardo, une méthode d'apprentissage par renforcement multi-tours pour entraîner des tuteurs basés sur de grands modèles de langage (LLM), qui répond au « dilemme de l'assistance » où les modèles ont tendance à donner des réponses plutôt qu'à enseigner. La méthode utilise un post-test de transfert proche masqué et des portes de récompense binaires pour décourager le transfert cognitif et empêcher la remise directe des solutions.

arxiv arXiv cs.CL · il y a 6 j · 30 vues

Index-Translate lance une famille de modèles multilingues pour le texte, la parole et les longs documents

Les auteurs présentent Index-Translate, une famille de modèles de traduction multilingue combinant une base partagée avec un entraînement spécialisé pour la traduction générale, le suivi d'instructions, la traduction de la parole, le doublage contrôlé et la traduction de longs documents. La famille comprend des modèles de 2B, 9B et 35B-A3B prenant en charge 150 langues.