研究者らは、モデルの重みを変更せずにLLMのパフォーマンスを自動的に改善する自己進化型エージェントハーネスフレームワークを発表した。このシステムは変更提案とクレジット割り当てを分離し、信頼性の高い改善を保証するために測定と有意性検出に決定論的コードを使用している。
- パッチは、修正されたタスクではなく対象の病理に基づいてキー付けされた、ゲート付きのカテゴリカル品質多様性アーカイブに蓄積される。
- 一般化能力は、進化後にのみスコアリングされるシールドテストで測定される。
- 凍結されたオープンウェイトモデルを用いた7つのドメイン全体で、クレジット獲得量は+9〜+15.5ppの範囲にある。
- このアプローチはトレーニングの利益の86-147%を保持し、過学習ではなく一般化を示している。
優勝したパッチはモデルの支配的な病理を追跡しており、診断とクレジットのループが異なるモデルファミリー間で転移可能であることを示している。