O usuário thamilvendhan solicitou a adição de seu conjunto de dados, SignalBench, à lista permitida de benchmarks do Hugging Face Hub. Este registro permite que a plataforma agregue os resultados de avaliação da comunidade para o novo benchmark.
SignalBench introduz In Band Signal Compliance (IBSC), um benchmark com uma única métrica chamada Signal Response Correctness. Ele avalia agentes LLM tanto em problemas de excesso de conformidade, como injeção de prompts, quanto em falhas de subconformidade, como cegueira temporal, negação de acesso, erros de rótulo de memória e violações de políticas de bots. O conjunto de dados é licenciado sob Apache 2.0 e define cinco famílias de tarefas: time, access_deny, memory_label, injection e bot_policy.
Adicionar o benchmark à lista permitida permite a agregação de resultados de avaliação da comunidade em todo o Hugging Face Hub.