media Hugging Face Forums · il y a 1 h · open_models

AbstractPhil lance Beatrix V3, un modèle de niveau octet avec 376M et mémoire splat

Traduit de English → Français

AbstractPhil a lancé Beatrix V3, un modèle de langage de niveau octet de 376 millions de paramètres qui utilise la "mémoire splat" dans chaque bloc d'attention. Le modèle dispose d'un vocabulaire de 256 et d'une fenêtre de contexte de 4 096 octets, entraîné sur 64,4 milliards d'octets sur deux cartes RTX 5090.

L'architecture atteint 0,9861 bit par octet sur du texte web retenu sans pics de perte.
Il comprend des adaptateurs détachables de 13,7 millions de paramètres après chaque bloc pour gérer des étapes spécifiques du curriculum.
Le modèle démontre de fortes capacités de codage de texte, égalant les performances de T5 dans ses blocs intermédiaires.
La mémoire splat montre des limitations dans la récupération à longue distance par rapport aux contrôles softmax, ce qui pousse à planifier une approche hybride.

Le lancement inclut les poids du modèle et la documentation technique, invitant aux commentaires sur les améliorations architecturales telles que les mécanismes d'attention hybride et les modules de mémoire oublieuse.

Importance 1/3 Confiance 1/3 Hugging Face Forums Hugging Face Research paper Training methods

Lire l'original

Articles similaires

arxiv arXiv cs.AI · il y a 22 h · 1 vue

La distillation de puissance on-policy affine le raisonnement des modèles de langage sans recherche

Les chercheurs présentent la Distillation de Puissance On-Policy (OPPD), une méthode qui entraîne les modèles à générer des réponses de haute qualité en un seul passage en imitant la distribution de probabilité affinée d'un modèle enseignant. Cette approche élimine le besoin d'un échantillonnage extensif de candidats pendant l'inférence tout en augmentant significativement les performances sur les benchmarks mathématiques et de codage.

arxiv arXiv cs.LG · il y a 1 j · 1 vue

La distillation de puissance on-policy affine le raisonnement sans recherche

Les chercheurs présentent la Distillation de Puissance On-Policy (OPPD), une méthode qui entraîne les modèles de langage à générer des réponses de haute qualité en un seul passage en imitant la distribution de probabilité affinée d'un modèle enseignant. Cette approche élimine le besoin d'un échantillonnage extensif de candidats lors de l'inférence tout en améliorant significativement les performances sur les tâches de raisonnement.

media r/LocalLLaMA · il y a 4 j · 29 vues

Hugging Face publie un guide pour l'entraînement RL avec plusieurs harnais

Lewis de l'équipe post-entraînement de Hugging Face a publié un guide complet sur l'entraînement de modèles ouverts en utilisant différents harnais de codage. L'article détaille comment l'équipe a relevé ce défi en tirant parti de bibliothèques open source telles que TRL et le framework Harbor pour les environnements d'apprentissage par renforcement.

arxiv arXiv cs.LG · il y a 15 j · 40 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement applique d'abord un RL guidé par des règles aux questions dérivées de MedBullets pour le diagnostic, puis utilise 5,3k scénarios synthétiques multi-tours avec des grilles multidimensionnelles pour les tâches cliniques interactives.

arxiv arXiv cs.AI · il y a 15 j · 41 vues

Fathom-Vaidya améliore le raisonnement médical avec des récompenses basées sur des grilles

Les auteurs présentent Fathom-Vaidya, un modèle de 30B paramètres qui utilise des données synthétiques et l'apprentissage par renforcement basé sur des grilles pour améliorer à la fois le raisonnement diagnostique et clinique en santé. Le cadre d'entraînement cible d'abord la précision diagnostique en utilisant des questions dérivées de MedBullets, puis aborde les interactions cliniques multi-tours via 5,3k scénarios générés avec des grilles multidimensionnelles.