한 레딧 사용자는 모델 압축 기술에 Anthropic의 "J space" 개념을 적용할 것을 제안합니다. 이 제안은 최종 출력에 가장 큰 영향을 미치는 활성화를 식별하기 위해 야코비 행렬을 사용하여 더 효과적인 가지치기, 병합 및 증류를 가능하게 합니다.
- 이 접근 방식은 중요한 벡터 변화에 초점을 맞춤으로써 추론 능력을 해치지 않고 밀집 모델을 압축하는 것을 목표로 합니다.
- 이는 대형 모델의 추론 신호를 노이즈 제거하거나 증폭하여 소형 모델로 이전할 수 있게 할 수 있습니다.
- 이 방법은 최전선 모델을 더 작은 변형으로 증류할 때 계산 집약도를 줄일 수 있습니다.
저자는 이러한 아이디어가 로컬 AI 커뮤니티에 도움이 되기를 바라고 있지만, 전문가의 검증이 필요함을 인정합니다.