著者は、信頼できる既存の指標がない状況で自己改善を可能にするために、評価指標とエージェントのスキルが共進化するフレームワークを提案します。このアプローチは、小さな欠点検出器の組み合わせを検索するために進化的なライフサイクルを利用し、アンカー付き参照セットと一致する透明かつ検証可能な指標を作成します。
- 指標ループは、10項目のアンカー付き参照セットと一致するように訓練され、ラベルなし出力に関するコンセンサスによって正則化されます。
- Double Ratchetは、コード生成(MBPP+)、エンタープライズ向けテキストからSQLへの変換(Spider~2.0-Snow)、レポート生成にわたって、ライフサイクル管理されたスキルループと指標を共進化させます。
- システムは、地面の真実や利用可能な最高のルーブリックによって駆動されるスキルループが達成した保持外のリフトの88--110%を維持します。
- セーフティは、アンカーの規律と外部監査を通じて維持され、独立した判定者がレポート生成タスクで操作されたルーブリックを検出します。
著者は、この失敗を前提としたアーキテクチャが、信頼できる自動検証者が存在しないアプリケーションにとって適切なデフォルトであると主張しています。