La calibration du crédit sensible à la queue (TACO) atténue la contamination par crédit positif dans l'apprentissage par renforcement des LLM

Les chercheurs proposent Tail-Aware Credit calibratiOn (TACO), une méthode qui traite le mode d'échec de la « Contamination par Crédit Positif » dans l'apprentissage par renforcement sans critiqueur pour les grands modèles de langage. Ce problème survient lorsque l'attribution uniforme du crédit renforce indistinctement des tokens erronés à faible probabilité aux côtés de tokens plausibles.

• TACO calcule un score de risque de queue basé sur le contexte de génération local pour distinguer la rareté inattendue de l'exploration pilotée par l'incertitude.
• La méthode ajuste le crédit positif pour les tokens risqués, atténuant progressivement le bruit incident tout en permettant aux motifs rares utiles et récurrents d'accumuler du renforcement.
• Des expériences sur trois LLM et huit benchmarks montrent que TACO surpasse systématiquement les bases de référence de style GRPO.
• L'approche améliore la stabilité de l'entraînement, soutenant des gains de performance durables dans le RL à long terme.

Les auteurs considèrent cela important car il atténue le renforcement de comportements de raisonnement défectueux, permettant un apprentissage plus stable et efficace pour les tâches de raisonnement complexes.