Pesquisadores propõem um sistema de monitoramento em tempo real para grandes modelos de linguagem que usa o sinal verificador de um modelo externo para disparar alarmes quando a segurança não pode ser garantida. O sistema determina decisões de alarme por meio da limiarização da saída do verificador, com o limiar calibrado por métodos de controle de risco.
- A abordagem depende da simples limiarização de sinais de um modelo externo em vez de testes de hipótese sequenciais complexos.
- Experimentos foram conduzidos em conjuntos de dados de raciocínio matemático e red teaming para avaliar o desempenho.
- O design é mostrado como competitivo com monitores mais avançados baseados em testes de hipótese sequenciais.