ScottRBK 发布了 eval-harness，这是一个旨在为 LLM 及其运行的代理式 CLI 框架构建个人评估的工具。该项目解决了在实际使用场景中评估模型性能的需求，而不是依赖通用基准或直觉。
- 该存储库允许用户构建私有评估列表，远离公共数据集。
- 包含示例评估以展示评估模型和框架的不同模式。
- 提供了一组技能来帮助 CLI 代理生成这些评估，尽管作者指出它们可能很脆弱。
- 该工具旨在帮助用户根据经验数据决定在 qwen3.6-27b 等本地模型和云模型之间切换的时机。
该框架通过提供一种在特定代理环境中测试能力的结构化方式，帮助用户为专业工作流程做出有关模型选择的明智决策。