연구자들은 HyperSafe라는 프레임워크를 제안했습니다. 이는 추론 중에 모델 고유한 안전 사이드 네트워크(SSN)를 생성하여 미세 조정된 대규모 언어 모델의 안전 행동을 복원합니다. 이 방법은 레이어별 활성화 지문과 교정 프롬프트를 사용하여 원래 모델 가중치를 수정하지 않고 표현을 SSN 파라미터에 매핑합니다.

  • HyperSafe는 활성화 지문에 대한 단일 순전파를 통해 각 미세 조정 체크포인트에 대해 SSN을 생성합니다.
  • SSN은 프롬프트 수준의 안전 분류를 수행하여 유해한 입력은 거부로 라우팅하고 안전한 프롬프트는 동결된 모델을 통과시킵니다.
  • Qwen2-7B 및 LLaMA-3-8B에서 평가한 결과, 홀드아웃 체크포인트 전반에 걸쳐 유해 응답률을 19~31%에서 1% 미만으로 줄였습니다.
  • 다운스트림 작업 정확도는 평균적으로 미세 조정 기준선 대비 1% 이내에 머뭅니다.

이 접근 방식은 배포 시 그래디언트 업데이트나 추가 안전 데이터가 필요 없는 비침습적 사후 안전 복원 방법을 제공합니다.