उपयोगकर्ता thamilvendhan ने अपने डेटासेट, SignalBench को Hugging Face Hub के बेंचमार्क अनुमत सूची में जोड़ने का अनुरोध किया है। इस पंजीकरण से प्लेटफ़ॉर्म नए बेंचमार्क के लिए सामुदायिक मूल्यांकन परिणामों को एकीकृत कर सकता है।
SignalBench In Band Signal Compliance (IBSC) पेश करता है, जो Signal Response Correctness नामक एकमात्र मेट्रिक वाला एक बेंचमार्क है। यह LLM एजेंट्स का मूल्यांकन अति-अनुपालन समस्याओं जैसे प्रॉम्प्ट इंजेक्शन और अधूरे अनुपालन विफलताओं जैसे समय अंधापन, पहुंच अस्वीकृति, मेमोरी लेबल त्रुटियों और बॉट नीति उल्लंघनों दोनों पर करता है। डेटासेट Apache 2.0 के तहत लाइसेंस प्राप्त है और पांच कार्य परिवारों को परिभाषित करता है: time, access_deny, memory_label, injection, और bot_policy।
बेंचमार्क को अनुमत सूची में जोड़ने से Hugging Face Hub भर में सामुदायिक मूल्यांकन परिणामों का एकीकरण सक्षम होता है।