研究人员引入了一项基准测试，以评估当可用工具的可靠性在持续会话期间静默变化时，LLM 智能体如何适应。该框架挂载了具有冗余的工具技能库，并使用分支计划隐藏边界处切换可靠工具组。
- 智能体默认倾向于在每个边界的几个回合内定居在一个小的重复例程中，将调用份额集中在离散值上。
- 集合转换准确率被评分为在每个后转换窗口中将路由到目标工具组的联合概率。
- 在开源智能体框架中测试开放权重的 LLMs，揭示了相同例程中定性不同的故障模式。
- 研究发现，集合框架（将工具呈现为竞争或互补）会改变路由动态。
此评估突出了在面对隐藏可靠性变化时，特定故障模式以及工具呈现对智能体行为的影响。