本文介绍了 SkillFuzz,一种无需执行即可进行测试的方法,旨在发现开放技能市场中可能通过交互将智能体重定向至非预期目标的良性技能组合所产生的隐式意图。通过将此发现问题建模为技能组合上的模糊测试问题,该方法提取结构化契约,并利用基于契约的蒙特卡洛树搜索来优先处理潜在冲突的组合。

  • SkillFuzz 是首个提取结构化技能契约并利用基于契约的蒙特卡洛树搜索的无执行测试方法。
  • 在代表性工作负载下,它在固定的查询预算内发现了超过 1,000 个不同的隐式意图。
  • 系统在运行时验证中确认了超过 80% 的高风险标记组合。
  • 与替代搜索策略相比,它在仅探索一小部分成对交互空间的情况下,识别出了显著更多的高严重性隐式意图。

该方法解决了仅通过技能组合才会显现的效果的检测挑战,提供了一种可扩展的智能体行为审计方式,无需在准入阶段要求执行环境。