Qwen3.6-35B-A3B에 대한 norm-preserving abliteration은 벤치마크를 유지하면서 거부율 0% 달성

사용자가 Qwen3.6-35B-A3B 모델에 norm-preserving biprojection abliteration을 적용하여, 수학 및 코드 벤치마크를 그대로 유지한 채 홀드아웃 테스트 세트에서 거부율 0%를 달성했습니다.

이 기법은 거부 방향에 대해 가중치 행을 직교화하고 원래 L2 norm으로 다시 스케일링하여, 바닐라 abliteration으로 인한 벤치마크 성능 저하를 방지합니다. 작성자는 혼합 자기 주의 및 선형 주의 레이어 처리, 그리고 3D 전문가 텐서에 대한 einsum을 통한 투영 적용 등 하이브리드 Mixture of Experts 아키텍처의 특정 과제에 대응했습니다.

이 작업에는 35개 카테고리 전반에 걸친 7,356개의 프롬프트가 포함된 오픈 소스 강화 유해 데이터셋과 결과 재현을 위한 모델 체크포인트 및 코드가 포함되어 있습니다.