Исследование показывает, что предвзятые LLM-судьи могут молча отключать механизм «выхода навыков» (skill retirement) у самообучающихся агентов, не позволяя им избавляться от плохих навыков. Это происходит из-за смещения ложноположительных результатов: провалы проходят как успешные, что фактически отключает куратора, отвечающего за качество библиотеки навыков.
- Симметричный шум не влияет на выход, но смещение ложноположительных результатов отключает выход на основе вклада после резкого порога.
- Сбой механизма универсален для всех областей и уровней ошибок, исключая только верификаторы с почти нулевым уровнем ложноположительных результатов.
- Качество последующей оценки ухудшается только там, где коррупция также лишает возможности синтеза навыков; в остальных случаях производительность остаётся стабильной.
- Аудит с инъекцией дефектов может определить, работает ли судья на безопасной стороне порога, перед развёртыванием.
Исследование подчёркивает, что отключённые кураторы остаются незамеченными в агрегированных метриках, создавая скрытый риск для надёжности агентов.