사용자 thamilvendhan은 자신의 데이터셋인 SignalBench를 Hugging Face Hub의 벤치마크 허용 목록에 추가해 달라고 요청했습니다. 이 등록을 통해 플랫폼은 새로운 벤치마크에 대한 커뮤니티 평가 결과를 집계할 수 있게 됩니다.
SignalBench는 In Band Signal Compliance (IBSC)를 도입했으며, 이는 Signal Response Correctness라는 단일 메트릭을 특징으로 하는 벤치마크입니다. 이는 프롬프트 인젝션과 같은 과적합 문제와 시간적 맹점, 접근 거부, 메모리 레이블 오류, 봇 정책 위반 등의 부적응 실패를 포함한 LLM 에이전트를 평가합니다. 데이터셋은 Apache 2.0 라이선스 하에 제공되며, time, access_deny, memory_label, injection, bot_policy라는 5개의 작업 패밀리(family)를 정의합니다.
벤치마크를 허용 목록에 추가함으로써 Hugging Face Hub 전반에 걸쳐 커뮤니티 평가 결과를 집계할 수 있게 됩니다.