arxiv arXiv cs.LG · il y a 1 h · research

U-OPSD permet l'auto-distillation non supervisée sur politique pour les LLM

Traduit de English → Français

Les chercheurs proposent l'Auto-Distillation Non Supervisée sur Politique (U-OPSD), une méthode qui améliore les performances post-entraînement des grands modèles de langage en utilisant uniquement les générations du modèle lui-même, sans supervision externe. L'approche échantillonne plusieurs rollouts pour construire une pseudo-solution par vote majoritaire, puis distille la distribution d'un enseignant dans les préfixes de la complétion incorrecte la plus longue du modèle.

U-OPSD améliore les modèles de base de 8,5 % et 10,7 % sur Qwen3 en mode non-réfléchi aux échelles 4B et 8B sur des benchmarks comme AIME24, MATH500 et AMC23.
Il surpasse les méthodes supervisées telles que OPSD d'une moyenne de 3,2 % et 2,3 % en mode non-réfléchi.
En mode réfléchi, U-OPSD égale ou dépasse OPSD et GRPO, surpassant ce dernier jusqu'à 1,1 % à l'échelle 8B.

Cette méthode démontre qu'une véritable auto-distillation est possible grâce à la cohérence interne, offrant une alternative compétitive aux signaux d'entraînement supervisés.

Importance 2/3 arXiv cs.LG Research paper Training methods

Lire l'original

Articles similaires

arxiv arXiv cs.CL · il y a 7 j · 2 vues

Mémoire à l'échelle : Passage à l'échelle des modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres

Les chercheurs présentent Memory Decoder at Scale, un système qui met à l'échelle les modèles de mémoire à long terme paramétrique jusqu'à 6,9 milliards de paramètres et les pré-entraîne sur 300 milliards de tokens. Pour pallier l'irréalisme des pipelines Faiss standards à cette échelle de données, les auteurs implémentent un pipeline d'indexation distribué avec un chargement par lots et dispersé des distributions kNN.

arxiv arXiv cs.CL · il y a 9 j

Relay-OPD réduit la longueur de la trajectoire d'entraînement de plus de 50 % lors de la distillation on-policy

Les chercheurs introduisent la Distillation On-Policy par Relais (Relay-OPD) pour pallier l'échec du préfixe dans la distillation on-policy standard, où les erreurs de l'élève entraînent une supervision peu fiable. La méthode utilise une asymétrie de continuation professeur-élève comme déclencheur permettant au professeur d'intervenir brièvement pour rediriger la trajectoire avant que l'élève ne reprenne.

media Hugging Face Forums · il y a 13 j

ThetaScan v0.1 publie une mémoire non linéaire parallélisée par balayage avec 17M de résultats LM

Un aperçu de recherche de ThetaScan v0.1, un mélangeur de tokens non linéaire à état fixe, a été publié en tant qu'implémentation open-source. L'architecture garantit que chaque token calcule son écriture de mémoire à partir de l'entrée actuelle et des paramètres partagés plutôt que d'un état rapide évolutif, permettant aux écritures de composer via un balayage de préfixe associatif.

media r/LocalLLaMA · il y a 15 j · 1 vue

SLAI T-Rex atteint 34,22 % de MFU et 71,81 % de Pass@1 pour DeepSeek-V4 sur Ascend

SLAI présente T-Rex, un framework de post-entraînement à paramètres complets pour la famille de modèles DeepSeek-V4 sur l'infrastructure Ascend SuperPOD. Le système adresse la pression mémoire et la surcharge de communication dans les modèles MoE de billions de paramètres grâce à une optimisation hiérarchique.

arxiv arXiv cs.LG · il y a 22 j · 1 vue

Exposant de Lyapunov comme récompense dense informée par la physique : Découverte par apprentissage par renforcement de la stabilisation au-delà du pendule de Kapitza

Les auteurs proposent d'utiliser l'exposant caractéristique de Lyapunov (LCE) comme signal de récompense dense pour stabiliser un pendule inversé avec un mouvement vertical. Cette approche permet aux agents d'apprentissage par renforcement de découvrir des comportements de stabilisation complexes au-delà des solutions oscillatoires standard.