arxiv arXiv cs.CL · il y a 1 h · research

Rapport technique de Solar Open 2

Traduit de English → Français

Le rapport technique de Solar Open 2 présente Solar Open 2, un modèle de langage à experts en mélange (Mixture-of-Experts) de 250B-A15B conçu pour des tâches agentic à long terme. Il atteint une fenêtre de contexte de 1M de tokens grâce à une pile d'attention hybride et est entraîné en utilisant une initialisation efficace issue de Solar Open 1 et des données de haute valeur soigneusement sélectionnées.

Le modèle utilise un mécanisme d'attention hybride avec une couche softmax parmi toutes les trois couches d'attention linéaire, sans encodage positionnel et avec une règle delta à porte étendue aux valeurs propres négatives.
L'efficacité de l'entraînement est obtenue en initialisant à partir du squelette partagé de Solar Open 1 et en affinant un pool de données de 20T en un mélange de 10T via une curation consciente de la qualité et de la rareté.
Les compétences d'agent sont consolidées à partir de douze spécialistes de domaine en utilisant la Distillation Multi-enseignant On-Policy (MOPD).
Solar Open 2 domine les modèles ouverts de taille comparable sur MMLU-Pro, LiveCodeBench et la suite APEX-Agents, tout en restant compétitif face à DeepSeek-V4-Flash et MiMo-V2.5.
Sur les benchmarks coréens, il enregistre la moyenne la plus élevée parmi les modèles comparés et est compétitif avec DeepSeek-V4-Pro pour moins d'un sixième de sa taille.

Le rapport met en évidence la capacité de Solar Open 2 à conserver l'intégralité des trajectoires d'agent dans un seul contexte tout en maintenant des performances élevées sur les benchmarks anglais et coréen.

Importance 2/3 arXiv cs.CL Upstage AI agents Research paper

Lire l'original

Articles similaires

media r/LocalLLaMA · il y a 19 h · 5 vues

Upstage publie Solar Open 2, un modèle MoE de 250 milliards de paramètres pour des cas d'usage agents

Upstage a publié Solar Open 2, un grand modèle de langage à poids ouverts avec 250 milliards de paramètres conçu pour les flux de travail agents tels que la productivité bureautique et la programmation. Le modèle utilise une architecture Mixture-of-Experts à Hybrid-Attention qui n'active que 15 milliards de paramètres par token pour offrir une inférence efficace.

media Hugging Face Forums · il y a 1 j

SEMA explore une architecture IA non-transformer utilisant l'Architecture de Symboles Vectoriels

SEMA est une architecture IA expérimentale qui étudie si la compréhension du langage et le raisonnement peuvent émerger d'une structure sémantique explicite plutôt que de la prédiction du prochain token. Elle sert de système de raisonnement basé sur des instances non paramétrique, utilisant l'Architecture de Symboles Vectoriels (VSA/HDC) sur une mémoire adressable par contenu.

arxiv arXiv cs.AI · il y a 6 j

HealthClaw : agent open-source avec mémoire auto-évolutive pour la gestion de la santé personnelle longitudinale

Les chercheurs ont développé HealthClaw, une architecture d'agent open-source conçue pour mettre à jour le soutien au fur et à mesure que les routines, préférences, mesures et risques d'une personne évoluent dans le temps. Il sépare les règles de sécurité partagées et les connaissances médicales de la mémoire longitudinale privée contenant des faits de profil, des procédures réutilisables et des traces épisodiques.

arxiv arXiv cs.LG · il y a 7 j

TRACE améliore l'utilisation d'outils par les agents à long terme via l'estimation du crédit au niveau des tours

Les auteurs proposent TRACE (Turn-level Reward Assignment via Credit Estimation), une méthode d'attribution de crédit dense pour l'apprentissage par renforcement agentique qui traite la parcimonie et la haute variance des récompenses de résultat dans les tâches à long terme. En représentant les rollouts comme des transitions d'état aux limites d'appel d'outil et en déduisant les récompenses par action à partir des valeurs d'état de rapport logarithmique, TRACE permet un entraînement efficace sans critiques supplémentaires ni étapes de réglage fin supervisé.

arxiv arXiv cs.AI · il y a 7 j

Le modèle DVM-HALL et la métrique NHAS répondent à la loyauté du commerce autonome

L'article présente le modèle Dynamic Verifiable Multi-Agent Human Agentic Loyalty Loop (DVM-HALL) pour aborder la manière dont les paradigmes traditionnels de fidélité des clients échouent lorsque les agents IA exécutent des décisions d'achat de manière autonome. Il propose un cadre où le choix de la marque est déterminé par l'équité émotionnelle humaine, l'utilité agentique, la confiance calibrée et les risques d'exécution vérifiable dans les environnements de finance décentralisée.