Пользователь thamilvendhan запросил добавление своего набора данных SignalBench в список разрешённых бенчмарков платформы Hugging Face Hub. Эта регистрация позволяет платформе агрегировать результаты оценки сообщества для нового бенчмарка.
SignalBench внедряет In Band Signal Compliance (IBSC), бенчмарк, включающий единственную метрику Signal Response Correctness. Он оценивает LLM-агентов как на проблемы чрезмерного соблюдения правил (например, инъекция промптов), так и на недостатки недостаточного соблюдения, такие как временная слепота, отказ в доступе, ошибки меток памяти и нарушения политик ботов. Набор данных лицензирован по Apache 2.0 и определяет пять семейств задач: time, access_deny, memory_label, injection и bot_policy.
Добавление бенчмарка в список разрешённых позволяет агрегировать результаты оценки сообщества на платформе Hugging Face Hub.