Neuron-OPSD는 뉴런 활성화를 활용한 주석 없는 LLM 자기 증류

연구자들은 데이터 중심 프레임워크인 Neuron On-Policy Self-Distillation (Neuron-OPSD)를 제안했습니다. 이는 내부 뉴런 활성화를 활용하여 대규모 언어 모델의 훈련 데이터 선택과 교사 컨텍스트 구성을 안내합니다. 이 접근 방식은 교사 분포로부터 온-폴리시 증류를 통해 모델을 훈련함으로써 주석이 없는 자기 증류를 가능하게 하며, 정답 레이블의 필요성을 제거합니다.

이 방법은 SFT 및 GRPO 기반 변형에서의 도메인 외부 성능 저하와 보상 기반 온-폴리시 RL에서의 교정 오류 증가 등 기존 주석 없는 자기 진화 기술의 한계를 해결합니다. 뉴런 활성화를 사용하여 프로세스를 안내함으로써 Neuron-OPSD는 도메인 내 작업 성능을 향상시키면서 교차 도메인 일반화를 보존하는 것을 목표로 합니다.

이 프레임워크는 온라인 상호작용이나 외부 감독이 비용이 많이 들거나 불가능한 환경에 맞게 설계되었으며, 기록된 보상 레이블付き 궤도에 의존하는 오프라인 RL 접근 방식과 개념적으로 구별되는 대안을 제공합니다.