这项工作为大语言模型制定了感知预算的测试时模型选择问题,将已承诺模型的重新采样和重路由到替代方案视为单个查询成本预算的竞争用途。作者提出了一种由单位成本估计边际正确性驱动的在线重采样或重路由(RoR)分配策略,以在存在不完美的验证器情况下最大化预期正确性。

  • 回放实验使用来自十一个模型开放权重池的重生成多抽样正确性张量,涵盖四个基准测试。
  • RoR策略相对于单一路由、单一承诺路由器、预算感知最佳-K、级联和随机分配基线,实现了有利的成本-质量帕累托前沿。
  • 增益在最异构的基准测试上最大,且受验证器门控,随着验证器质量下降而缩小。
  • 在提供商价格向量和无标签一致性验证器下的鲁棒性回放描绘了结论适用的范围。

该方法通过优化预算分配来解决已部署路由器与实例级预言机之间的差距,无需理想化的正确性标签。