Pesquisadores propõem um sistema de monitoramento em tempo real para grandes modelos de linguagem que utiliza o sinal verificador de um modelo externo para detectar saídas inseguras no momento da implantação. O sistema dispara um alarme por meio de limiarização deste sinal, com o limiar calibrado através do controle de risco.

  • A abordagem depende de um design simples de limiarização de um sinal verificador de um modelo externo.
  • Experimentos foram conduzidos em conjuntos de dados de raciocínio matemático e red teaming.
  • O método mostra-se competitivo em comparação com monitores mais avançados baseados em teste sequencial de hipóteses.