本研究は、大規模言語モデルに対する予算認識型のテスト時モデル選択を定式化し、コミットされたモデルの再サンプリングと代替へのルーティングを、1クエリあたりのコスト予算という競合する用途として扱う。著者は、不正確な検証器が与えられた期待される正確性を最大化するために、単位コストあたりの推定边际的正確性によって駆動されるオンラインのresample-or-reroute (RoR) 配分ポリシーを提案する。

  • リプレイ実験では、4つのベンチマークにわたる11モデルのオープンウェイトプールから再生成されたマルチドロー正確性テンソルを使用する。
  • RoRポリシーは、シングルルート、ワンコミットルーティング、予算認識型のbest-of-K、カスケード、ランダム配分のベースラインと比較して、有利なコスト-品質のパレートフロントを実現する。
  • 改善幅は最も異質なベンチマークで最大となり、検証器に依存し、検証器の品質が低下すると縮小する。
  • プロバイダ価格ベクトルとラベルなし合意検証器の下での堅牢性リプレイは、結論がどこまで適用可能かを示す。

このアプローチは、理想的な正確性ラベルを必要とせずに予算配分を最適化することで、展開されたルーティングとインスタンスごとのオラクルの間のギャップを埋める。