A DeshwalX lançou um classificador multiclasse para guardrails de LLM de baixa latência, realizando fine-tune no `google/electra-small-discriminator` (~14M parâmetros) para detectar quatro vetores de segurança independentes em uma única passagem direta.
- F1 micro: 90.00% | F1 macro: 89.00%
- Prompt Adversarial (Jailbreaks): 1.00 F1
- Recusa de Resposta: 0.86 F1
- Prompt Nocivo: 0.88 F1
- Resposta Nociva: 0.81 F1
O autor está buscando feedback da comunidade para melhorar a Versão 1, solicitando especificamente casos extremos onde o modelo falha, exemplos de falsos positivos em entradas benignas e sugestões para configurações de arquitetura ou balanceamento de pesos de perda.