研究人员提出了 HyperSafe，这是一种框架，通过在推理期间生成模型特定的安全侧网络（SSN）来恢复微调大型语言模型的安全行为。该方法使用逐层激活指纹和校准提示，将表示映射到 SSN 参数，而无需修改原始模型权重。

  • HyperSafe 通过对激活指纹进行一次前向传递，为每个微调检查点生成一个 SSN。
  • SSN 执行提示级安全分类，将有害输入路由至拒绝，同时允许安全提示通过冻结的模型。
  • 在 Qwen2-7B 和 LLaMA-3-8B 上的评估显示，它在保留的检查点上将有害响应率从 19-31% 降低到 1% 以下。
  • 下游任务准确率平均保持在微调基线的 1% 以内。

这种方法提供了一种非侵入式的后验安全恢复方法，在部署时不需要梯度更新或额外的安全数据。