对代理能力的评估显示,未调优的 Qwen3.6-27B 模型成功完成了所有测试任务,使用了 6-9 次工具调用,而调优后的 Nemotron Puzzle-75B 需要手动调优的提示词和显著更多的轮次才能通过。
- Qwen3.6-27B (INT8-AutoRound) 使用中性系统提示词,每项任务耗时 134-190 秒,通过了所有代理任务。
- Nemotron Puzzle-75B (NVFP4) 在没有手动调优的情况下表现不可靠,需要 13-23 次调用和 221-384 秒才能通过。
- 作者指出,对于代理性能而言,轮次更少比原始 token 解码速度更为关键。
- 前缀缓存问题被确定为使用相同负载时初始失败的潜在原因。
结果表明,对于代理工作流,工具使用的效率优于更大模型尺寸或更高吞吐量的优势。