モデルやエージェント向けのオープンソースプロモーションゲートであるWhetstoneの作成者は、実際のモデル更新に対してこのツールをテストするユーザーを探しています。Whetstoneはペアになった項目レベルの結果を比較し、集計スコアが見逃す可能性のある隠れた回帰を検出します。

  • 再現可能なPASS、HOLD、またはBLOCKのレシートを生成するために正確な有意性検定を適用します。
  • ローカルテストでは、同点のベースラインで3つの改善と3つの回帰を特定し、候補者をブロックしました。
  • ホスト版は使い捨て入力に対してステートレスですが、実際のテストはデータをプライベートに保つためにローカルで実行されます。
  • 著者は基本モデル、ファインチューン、またはエージェント更新を持つビルダーにその前提条件に挑戦するよう招待しています。

目的は、ゲートが誤った回答を出したり非現実的になったりする厄介なケースを見つけることです。