用户 thamilvendhan 请求将其数据集 SignalBench 添加到 Hugging Face Hub 的基准测试白名单中。此注册允许平台聚合社区对新基准测试的评估结果。
SignalBench 引入了 In Band Signal Compliance (IBSC),这是一个名为 Signal Response Correctness 的单指标基准测试。它评估 LLM 代理在过度合规问题(如提示注入)和合规不足失败(如时间盲点、访问拒绝、内存标签错误和机器人策略违规)方面的表现。该数据集采用 Apache 2.0 许可证,并定义了五个任务族:time、access_deny、memory_label、injection 和 bot_policy。
将基准测试添加到白名单中,使得跨 Hugging Face Hub 聚合社区评估结果成为可能。