Pengguna thamilvendhan telah meminta penambahan dataset mereka, SignalBench, ke daftar putih benchmark di Hub Hugging Face. Pendaftaran ini memungkinkan platform untuk mengagregasi hasil evaluasi komunitas untuk benchmark baru tersebut.
SignalBench memperkenalkan In Band Signal Compliance (IBSC), sebuah benchmark yang memiliki satu metrik bernama Signal Response Correctness. Benchmark ini mengevaluasi agen LLM pada masalah over-ketaatan seperti injeksi prompt dan kegagalan under-ketaatan seperti buta waktu, penolakan akses, kesalahan label memori, dan pelanggaran kebijakan bot. Dataset ini dilisensikan di bawah Apache 2.0 dan mendefinisikan lima keluarga tugas: time, access_deny, memory_label, injection, dan bot_policy.
Menambahkan benchmark ke daftar putih memungkinkan agregasi hasil evaluasi komunitas di seluruh Hub Hugging Face.