L'utilisateur thamilvendhan a demandé l'ajout de son jeu de données, SignalBench, à la liste autorisée des benchmarks du Hub Hugging Face. Cet enregistrement permet à la plateforme d'agréger les résultats d'évaluation de la communauté pour le nouveau benchmark.
SignalBench introduit In Band Signal Compliance (IBSC), un benchmark présentant une seule métrique appelée Signal Response Correctness. Il évalue les agents LLM sur des problèmes de sur-conformité tels que l'injection de prompt et des échecs de sous-conformité tels que l'aveuglement temporel, le refus d'accès, les erreurs d'étiquette mémoire et les violations de la politique du bot. Le jeu de données est sous licence Apache 2.0 et définit cinq familles de tâches : time, access_deny, memory_label, injection et bot_policy.
L'ajout du benchmark à la liste autorisée permet l'agrégation des résultats d'évaluation de la communauté sur l'ensemble du Hub Hugging Face.