Los investigadores proponen Tail-Aware Credit calibratiOn (TACO), un método que aborda el modo de fallo "Positive-Credit Contamination" en el aprendizaje por refuerzo sin crítico para modelos de lenguaje grandes. Este problema surge cuando la asignación uniforme de crédito refuerza indiscriminadamente tokens erróneos de baja probabilidad junto con otros plausibles.
- TACO calcula una puntuación de riesgo de cola basada en el contexto local de generación para distinguir la rareza inesperada de la exploración impulsada por la incertidumbre.
- El método ajusta el crédito positivo para los tokens riesgosos, amortiguando progresivamente el ruido incidental mientras permite que los patrones raros útiles recurrentes acumulen refuerzo.
- Los experimentos en tres LLM y ocho benchmarks muestran que TACO supera consistentemente a las líneas base estilo GRPO.
- El enfoque mejora la estabilidad del entrenamiento, apoyando ganancias sostenidas de rendimiento en RL de horizonte largo.
Los autores consideran esto importante porque mitiga el refuerzo de comportamientos de razonamiento defectuosos, permitiendo un aprendizaje más estable y efectivo para tareas de razonamiento complejas.