A calibração de crédito com consciência de cauda (TACO) mitiga a contaminação por crédito positivo no aprendizado por reforço de LLMs

Os pesquisadores propõem o Tail-Aware Credit calibratiOn (TACO), um método que aborda o modo de falha "Positive-Credit Contamination" no aprendizado por reforço sem crítico para grandes modelos de linguagem. Esse problema surge quando a atribuição uniforme de crédito reforça indiscriminadamente tokens errôneos de baixa probabilidade junto com os plausíveis.

• O TACO calcula uma pontuação de risco de cauda baseada no contexto local de geração para distinguir a raridade inesperada da exploração impulsionada pela incerteza.
• O método ajusta o crédito positivo para tokens arriscados, amortecendo progressivamente o ruído incidental enquanto permite que padrões raros úteis e recorrentes acumulem reforço.
• Experimentos em três LLMs e oito benchmarks mostram que o TACO supera consistentemente as linhas de base estilo GRPO.
• A abordagem melhora a estabilidade do treinamento, apoiando ganhos sustentados de desempenho no RL de horizonte longo.

Os autores consideram isso importante porque mitiga o reforço de comportamentos de raciocínio falhos, permitindo um aprendizado mais estável e eficaz para tarefas complexas de raciocínio.