El usuario thamilvendhan ha solicitado la adición de su conjunto de datos, SignalBench, a la lista permitida de benchmarks de Hugging Face Hub. Este registro permite a la plataforma agregar los resultados de evaluación de la comunidad para el nuevo benchmark.
SignalBench introduce In Band Signal Compliance (IBSC), un benchmark que presenta una única métrica llamada Signal Response Correctness. Evalúa agentes LLM tanto en problemas de exceso de cumplimiento como inyección de prompts, como en fallos de insuficiente cumplimiento tales como ceguera temporal, denegación de acceso, errores de etiquetas de memoria y violaciones de políticas de bots. El conjunto de datos está licenciado bajo Apache 2.0 y define cinco familias de tareas: time, access_deny, memory_label, injection y bot_policy.
Añadir el benchmark a la lista permitida permite la agregación de resultados de evaluación de la comunidad en todo Hugging Face Hub.