TACO: калибровка кредита с учётом хвоста распределения снижает загрязнение положительным кредитом при обучении LLM методом подкрепления

Исследователи предлагают метод Tail-Aware Credit calibratiOn (TACO), который устраняет режим отказа «Positive-Credit Contamination» в critic-free обучении с подкреплением для больших языковых моделей. Эта проблема возникает, когда равномерное распределение кредита без разбора укрепляет ошибочные токены с низкой вероятностью наряду с правдоподобными.

• TACO вычисляет оценку хвостового риска на основе локального контекста генерации, чтобы отличить неожиданную редкость от исследования, управляемого неопределённостью.
• Метод настраивает положительный кредит для рискованных токенов, постепенно подавляя случайный шум и позволяя повторяющимся полезным редким паттернам накапливать подкрепление.
• Эксперименты с тремя LLM и восемью бенчмарками показывают, что TACO последовательно превосходит базовые методы типа GRPO.
• Подход улучшает стабильность обучения, поддерживая устойчивый рост производительности в долгосрочном RL.

Авторы считают это важным, поскольку метод смягчает укрепление ошибочного поведения рассуждений, обеспечивая более стабильное и эффективное обучение для сложных задач логического вывода.