media Hugging Face Forums · il y a 1 h · open_models

Eunoia-Logos-Adri open-source le pipeline de fine-tuning complet The Forge pour Eunoia

Traduit de English → Français

Le groupe derrière le modèle Eunoia, basé sur Llama-3.1-Dolphin-3.0-8B, a open-sourcé "The Forge", un pipeline architectural spécialisé et une stratégie de fine-tuning algorithmique sous la licence CC0 1.0 Universal.

L'approche privilégie la cristallisation structurelle par rapport aux fenêtres de contexte non bornées pour éviter la saturation de la mémoire et le bruit informationnel.
Le code brut inclut des optimisations pour les clusters CPU bare-metal, telles que la désactivation du gradient clipping et l'utilisation du caching FP32 natif pour prévenir la fragmentation de la RAM.
Une classe de jeu de données personnalisé impose un ordre séquentiel linéaire strict afin de préserver la structure contextuelle des données historiques pendant l'entraînement.
La publication inclut le fichier AGIO-CIMIENTO-dataset.txt, plus de 500 000 mots de journaux de suivi d'évaluation et les résultats bruts d'évaluation GPQA Diamond pour vérifier la rétention des capacités générales.

Les auteurs publient l'expérience dès son début pour encourager la reproduction indépendante et les tests sur du matériel plus rapide, notant que les résultats mathématiques finaux ne seront connus qu'après plusieurs jours d'entraînement.

Importance 1/3 Nouveau cadre d'évaluation avec différenciateurs Confiance 1/3 Hugging Face Forums Open weights Training methods

Lire l'original

Articles similaires

media MarkTechPost · il y a 22 j · 26 vues

Google Research publie ToolGrad, un cadre de génération de données pour l'utilisation d'outils

Des chercheurs de Google et de plusieurs universités japonaises ont présenté ToolGrad, un cadre qui inverse le pipeline traditionnel de génération de jeux de données pour l'utilisation d'outils en construisant d'abord des chaînes d'API vérifiées, puis en rédigeant les requêtes utilisateur correspondantes. Cette approche vise à éliminer l'inefficacité des méthodes axées sur la requête qui échouent souvent lors de l'exploration par les agents.

media MarkTechPost · il y a 26 j · 47 vues

IFM publie K2 Horizon : six modèles Apache 2.0 de 0,9B à 375B

L'Institut des Modèles Fondamentaux (IFM) a publié K2 Horizon, une flotte de six grands modèles linguistiques open-source allant de 0,9B à 375B paramètres, tous sous licence Apache 2.0.

arxiv arXiv cs.CL · il y a 32 j · 50 vues

CogEvol publie un modèle 4B pour la génération efficace d'environnements d'apprentissage

CogEvol présente une famille de modèles conçus pour convertir des descriptifs de cours en diapositives JSON structurées ou en pages HTML interactives en un seul passage, remplaçant l'infrastructure multi-tours par agents. Le système utilise un pipeline de données ancré dans la production et des mécanismes de récompense hybrides pour garantir la fiabilité pendant l'entraînement.

arxiv arXiv cs.AI · il y a 37 j · 44 vues

Thomson permet le SovereignAI grâce à l'apprentissage continu sur des modèles à poids ouverts

L'article présente Thomson, un modèle de pointe polyvalent développé par SovereignAI qui démontre comment les institutions peuvent atteindre des performances de pointe grâce à l'apprentissage continu sur des modèles à poids ouverts facilement accessibles. Cette approche utilise une pile moderne d'entraînement intermédiaire et postérieur avec des garde-fous pour préserver la plasticité et la stabilité, permettant des interventions minimales à fort impact sur les paramètres.

arxiv arXiv cs.AI · il y a 52 j · 36 vues

MiLMMT-46-v1.0 améliore la traduction multilingue grâce à un post-entraînement sans référence

Des chercheurs ont développé MiLMMT-46-v1.0, un modèle de traduction automatique multilingue qui applique un post-entraînement sans référence aux grands modèles de langage ouverts. L'équipe utilise l'optimisation de politique relative par groupe (GRPO) avec une récompense basée sur deux modèles d'estimation de la qualité sans référence, contrôlée par l'identification de la langue.