Los investigadores proponen HyperSafe, un marco que restaura el comportamiento de seguridad en modelos de lenguaje grandes ajustados generando una Red de Lado Seguro (SSN) específica del modelo durante la inferencia. El método utiliza huellas de activación por capa y prompts de calibración para mapear representaciones a los parámetros de SSN sin modificar los pesos originales del modelo.
- HyperSafe genera una SSN para cada punto de control ajustado mediante un único pase hacia adelante sobre las huellas de activación.
- La SSN realiza la clasificación de seguridad a nivel de prompt, enrutando entradas dañinas al rechazo mientras permite que los prompts seguros pasen a través del modelo congelado.
- Evaluado en Qwen2-7B y LLaMA-3-8B, reduce las tasas de respuesta dañina del 19-31% a menos del 1% en puntos de control retenidos.
- La precisión en tareas posteriores se mantiene dentro del 1% de la línea base ajustada en promedio.
Este enfoque proporciona un método de restauración de seguridad no invasivo y posterior al hecho que no requiere actualizaciones de gradiente ni datos de seguridad adicionales en el momento del despliegue.