ユーザーthamilvendhanは、自身のデータセットSignalBenchをHugging Face Hubのベンチマーク許可リストに追加するようリクエストしました。この登録により、プラットフォームは新しいベンチマークに対するコミュニティの評価結果を集約できるようになります。

SignalBenchは、In Band Signal Compliance (IBSC) を導入しており、これはSignal Response Correctnessという単一の指標を特徴とするベンチマークです。これは、プロンプトインジェクションのような過剰適合の問題や、時間的盲目性、アクセス拒否、メモリラベルエラー、ボットポリシー違反などの不適応の失敗を含むLLMエージェントを評価します。データセットはApache 2.0ライセンスの下で提供され、time、access_deny、memory_label、injection、bot_policyという5つのタスクファミリーを定義しています。

ベンチマークを許可リストに追加することで、Hugging Face Hub全体でコミュニティの評価結果を集約することが可能になります。