作者提出了一套针对视觉-语言-动作(VLA)攻击论文的报告标准,以提高结果的透明度和可比性。该提案认为,当前文献往往缺乏必要的基线数据和统计背景,导致对攻击有效性的声明含糊不清。
关键要求包括:
- 在不进行减法的情况下,报告在同一任务和种子下的匹配良性控制率。
- 对于小样本量(例如 n=50)的成功率,使用威尔逊区间而非正态近似值。
- 明确指出目标是存根、本地检查点还是托管模型,以澄清迁移声明。
- 在基于搜索的攻击的结果表中包含查询预算,以便对失败计数进行上下文说明。
作者征求社区对这些标准是否合适的反馈,并询问其他子领域是否已经采用类似的报告实践。