Neuron-OPSD는 뉴런 활성화를 활용한 주석 없는 LLM 자기증류

본 논문은 Neuron On-Policy Self-Distillation (Neuron-OPSD) 를 소개합니다. 이는 데이터 중심 프레임워크로, 내부 뉴런 활성화를 활용하여 대규모 언어 모델의 훈련 데이터 선택과 교사 컨텍스트 구성을 안내합니다. 이 접근 방식은 정답 레이블이나 실제 세계 상호작용 피드백 없이 주석 없는 자기증류를 가능하게 합니다.

• 기존 방법의 단점 해결: SFT 및 GRPO 기반 변형은 도메인 외부 성능 저하를 겪으며, 보상 기반 온폴리시 RL은 교정 오차를 증가시킵니다.
• 내부 뉴런 활성화를 사용하여 훈련 데이터 선택과 교사 컨텍스트 구성 모두를 안내합니다.
• 교사 분포로부터 온폴리시 증류로 모델을 훈련하며, 어느 단계에서도 정답 레이블이 필요하지 않습니다.

Neuron-OPSD는 도메인 내 작업 성능을 향상시키면서 도메인 간 일반화를 유지하고, 기존 주석 없는 기준선 대비 교정 붕괴를 완화합니다. 이 프레임워크는 온라인 상호작용이나 외부 감독의 비용이 높거나 불가능한 설정에 특히 관련이 있습니다.