Исследователи предлагают HyperSafe, фреймворк, который восстанавливает поведение безопасности в дообученных больших языковых моделях путем генерации специфичной для модели сети безопасного ответа (SSN) во время вывода. Метод использует отпечатки активаций по слоям и калибровочные промпты для отображения представлений на параметры SSN без изменения исходных весов модели.
- HyperSafe генерирует SSN для каждого контрольного момента дообучения с помощью одного прямого прохода по отпечаткам активаций.
- SSN выполняет классификацию безопасности на уровне промпта, направляя вредоносные входы к отказу, в то время как безопасные промпты проходят через замороженную модель.
- Оценка на Qwen2-7B и LLaMA-3-8B показывает снижение доли вредных ответов с 19–31% до менее чем 1% на отложенных контрольных моментах.
- Точность в downstream-задачах остается в пределах 1% от базового уровня дообучения в среднем.
Этот подход обеспечивает невмешательский метод восстановления безопасности постфактум, не требующий обновления градиентов или дополнительных данных по безопасности на этапе развертывания.