media Hugging Face Forums · il y a 2 j · open_models

MB-Bidram partage l'architecture expérimentale WideNDepth séparant le raisonnement des connaissances

Traduit de English → Français

MB-Bidram a publié une architecture neuronale expérimentale appelée WideNDepth (WND) conçue pour séparer les capacités de raisonnement du stockage des connaissances. Le modèle se compose d'une « partie large » qui fonctionne comme mémoire et d'une « partie profonde » qui agit comme le raisonneur.

WND est une architecture expérimentale où différentes parties se concentrent sur des tâches distinctes : large pour la mémoire et profondeur pour le raisonnement.
WiND, un framework PyTorch minimal pour construire des modèles WideNDepth, est également open-sourcé avec l'architecture.
Le projet est présenté comme un travail en cours avec de la marge d'amélioration plutôt que comme une solution finale.

L'auteur invite la communauté à explorer, expérimenter et potentiellement améliorer la bibliothèque et l'architecture.

Importance 1/3 Confiance 1/3 Hugging Face Forums Research paper Training methods

Lire l'original

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement applique d'abord un RL guidé par des règles aux questions dérivées de MedBullets pour le diagnostic, puis utilise 5,3k scénarios synthétiques multi-tours avec des grilles multidimensionnelles pour les tâches cliniques interactives.

arxiv arXiv cs.AI · il y a 1 j · 12 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer à la fois le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement cible d'abord la précision diagnostique en utilisant des questions dérivées de MedBullets, puis aborde les interactions cliniques multi-tours via 5,3k scénarios générés avec des grilles multidimensionnelles.

arxiv arXiv cs.CL · il y a 1 j · 12 vues

Fathom-Vaidya améliore le raisonnement médical grâce aux récompenses basées sur des rubriques

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des rubriques pour améliorer à la fois le raisonnement diagnostique et clinique dans les soins de santé.

media Hugging Face Forums · il y a 3 j · 18 vues

Proposition : transfert de connaissances progressif de Qwen 9B à 27B pour un modèle fixe de 4B

Un utilisateur des forums Hugging Face propose une expérience de transfert de connaissances progressif, où un modèle étudiant de taille fixe (Qwen 4B) apprend séquentiellement à partir de modèles enseignants de plus en plus grands plutôt que directement à partir du plus grand disponible.

arxiv arXiv cs.LG · il y a 7 j · 20 vues

OpenAI publie Open-1B avec un entraînement entièrement auditable

OpenAI a publié Open-1B, un modèle de langage entraîné selon un régime où chaque opération pendant l'entraînement est reproductible indépendamment sur du matériel hétérogène standard avec une certitude bit à bit. Cette approche traite des problèmes de reproductibilité inhérents aux modèles open-source en imposant un ordre défini aux sources de non-déterminisme, telles que les réductions de noyaux GPU et l'ordre des lots de données.