ある研究により、偏ったLLM判定者が自己進化型エージェントにおける「スキル廃棄」メカニズムを黙って無効にし、質の低いスキルを破棄するのを妨げることが明らかになった。これは、偽陽性バイアスにより失敗が通過として見逃され、結果的にスキルライブラリの品質を維持するキュレーターが機能しなくなるためである。
- 対称ノイズは廃棄に影響しないが、偽陽性バイアスは特定の閾値を超えると貢献度に基づく廃棄を無効にする。
- このメカニズムの障害は領域や失敗率全体に普遍的であり、ほぼゼロの偽陽性を持つ検証者のような採点者だけが例外となる。
- 下流の評価品質は、腐敗がスキルの合成も枯渇させる場合のみ低下し、そうでなければパフォーマンスは安定して維持される。
- 欠陥注入監査により、デプロイ前に判定者が閾値の安全側で動作しているかどうかを判断できる。
この研究は、無効化されたキュレーターが集計指標では沈黙していることを浮き彫りにし、エージェントの信頼性に対する隠れたリスクを示している。