Whetstone（一个用于模型和代理的开源推广门）的创建者正在寻找用户，以针对真实的模型更新来测试该工具。Whetstone通过比较配对的项目级结果，检测聚合分数可能遗漏的隐藏回归问题。

  • 它应用精确显著性检验，生成可复现的PASS、HOLD或BLOCK结果。
  • 在一次本地测试中，它在平局基线中识别出三项提升和三项回归，从而阻止了候选者。
  • 托管版本对一次性输入是无状态的，而实际测试在本地运行以保护数据隐私。
  • 作者邀请拥有基础模型、微调模型或代理更新的建设者挑战其假设。

目标是找到那些推广门给出错误答案或不切实际的棘手案例。