media r/LocalLLaMA · il y a 1 h · open_models

ByteDance s'engage à éviter la distillation de l'IA et à développer un nouveau modèle à sa manière

Traduit de English → Français

ByteDance a annoncé son engagement à développer son prochain modèle d'IA sans recourir aux techniques de distillation de l'IA.

L'entreprise entend suivre une voie de développement indépendante pour ses futurs modèles.

Importance 2/3 r/LocalLLaMA ByteDance Training methods

Lire l'original

MiniMax lance le modèle de génération vidéo H3 à poids ouverts avec audio stéréo natif

MiniMax a publié sur Hugging Face le modèle omnimodal de génération vidéo H3 à poids ouverts, doté d'un audio stéréo natif capable de piloter la vidéo en un seul passage avant. Le modèle prend en charge une résolution 2K à 24 fps pour des clips de 5 à 15 secondes et accepte jusqu'à neuf images de référence, trois vidéos et trois extraits audio par génération.

arxiv arXiv cs.LG · il y a 3 j

U-OPSD permet l'auto-distillation non supervisée sur politique pour les LLM

Les chercheurs proposent l'Auto-Distillation Non Supervisée sur Politique (U-OPSD), une méthode qui améliore les performances post-entraînement des grands modèles de langage en utilisant uniquement les générations du modèle lui-même, sans supervision externe. L'approche échantillonne plusieurs rollouts pour construire une pseudo-solution par vote majoritaire, puis distille la distribution d'un enseignant dans les préfixes de la complétion incorrecte la plus longue du modèle.

arxiv arXiv cs.CL · il y a 6 j · 1 vue

Douyin publie le modèle d'encodage multimodal DME avec des performances de pointe

Douyin a publié le rapport technique de son modèle Multimodal Embedding (DME), qui combine un pré-entraînement contrastif à grande échelle avec un raisonnement latent pour atteindre une forte capacité de discrimination et une efficacité.

media r/LocalLLaMA · il y a 6 j · 5 vues

L'AFM3 20B d'Apple utilise l'élagage de suivi d'instructions pour activer ~20 % des couches

Apple a introduit une nouvelle architecture pour ses modèles fondamentaux de troisième génération (AFM3) qui utilise l'« Élagage de Suivi d'Instructions » pour réduire significativement le nombre de paramètres actifs. Le modèle est conçu pour activer environ 20 % de ses couches MLP en prenant des décisions de routage une fois par prompt plutôt que par token.

media MarkTechPost · il y a 8 j · 4 vues

NVIDIA NeMo publie Molt, un framework RL agentic compact natif PyT

L'équipe NeMo de NVIDIA a publié Molt, un framework open-source d'apprentissage par renforcement agentic conçu pour réduire la complexité de l'itération des algorithmes pour les chercheurs. La base de code compte environ 8,6K lignes de code RL, nettement inférieure à celle des frameworks comparables comme verl (62K lignes) et slime (25K lignes).