media r/LocalLLaMA · il y a 1 h · open_models

SLAI T-Rex atteint 34,22 % de MFU et 71,81 % de Pass@1 pour DeepSeek-V4 sur Ascend

Traduit de English → Français

SLAI présente T-Rex, un framework de post-entraînement à paramètres complets pour la famille de modèles DeepSeek-V4 sur l'infrastructure Ascend SuperPOD. Le système adresse la pression mémoire et la surcharge de communication dans les modèles MoE de billions de paramètres grâce à une optimisation hiérarchique.

Atteint 34,22 % de Model FLOPs Utilization (MFU), soit une amélioration de 2,93x par rapport à la ligne de base open-source.
Établit un flux de travail CPT et SFT pour les tâches de recherche opérationnelle en utilisant des données synthétiques vérifiées par des solveurs.
Le modèle spécialisé DeepSeek-V4-Flash atteint un score zero-shot Pass@1 de 71,81 %, surpassant GPT-5.4-Mini de 3,98 points de pourcentage.

Ce travail démontre une voie efficace pour le post-entraînement des modèles de pointe sur le matériel Ascend et la création de capacités spécialisées par domaine pour le raisonnement complexe.

Importance 2/3 r/LocalLLaMA Research paper Training methods

Lire l'original

Exposant de Lyapunov comme récompense dense informée par la physique : Découverte par apprentissage par renforcement de la stabilisation au-delà du pendule de Kapitza

Les auteurs proposent d'utiliser l'exposant caractéristique de Lyapunov (LCE) comme signal de récompense dense pour stabiliser un pendule inversé avec un mouvement vertical. Cette approche permet aux agents d'apprentissage par renforcement de découvrir des comportements de stabilisation complexes au-delà des solutions oscillatoires standard.

arxiv arXiv cs.LG · il y a 7 j

Lighthouse RL introduit des points de réinitialisation stratégiques pour un dimensionnement efficace de circuits analogiques

Les chercheurs présentent Lighthouse RL, une approche d'apprentissage par renforcement qui améliore l'efficacité de l'échantillonnage dans le dimensionnement de circuits analogiques en utilisant des configurations performantes comme points de réinitialisation stratégiques.

arxiv arXiv cs.CL · il y a 7 j

Un cadre d'apprentissage par méta-apprentissage permet l'alignement de LLM multilingues avec un minimum de données de préférence

Les chercheurs proposent un cadre d'apprentissage par méta-apprentissage pour l'apprentissage par renforcement à partir du retour humain (Reinforcement Learning from Human Feedback) et l'optimisation directe des préférences (Direct Preference Optimization) afin de relever le défi de la disponibilité inégale des données de préférence humaine entre les langues. En exploitant les données de préférence d'autres langues, la méthode apprend une initialisation transférable qui permet une adaptation efficace à une langue cible en utilisant très peu d'échantillons.

arxiv arXiv cs.CL · il y a 7 j

Étude analysant l'allocation optimale du calcul post-entraînement RL à travers la taille du modèle, la recherche et le feedback

Une étude examine le problème de décision à budget fixe concernant l'allocation des ressources de post-entraînement par apprentissage par renforcement (RL), en particulier pour déterminer s'il faut privilégier des politiques plus grandes, un entraînement prolongé, une recherche de rollouts accrue ou un feedback de récompense plus fort.

arxiv arXiv cs.CL · il y a 7 j

Une étude révèle que le succès de la distillation on-policy dépend de la qualité du signal, et non de l'échelle du professeur

Une étude systématique de la distillation on-policy (OPD) l'identifie comme un catalyseur d'exploration qui oriente les élèves via des conseils denses au niveau des tokens, sans élever le plafond de capacité. La recherche confirme que l'efficacité de l'OPD repose entièrement sur la qualité du signal de guidage, et non sur la diversité des prompts ou le nombre d'échantillons par problème.