연구자들은 대규모 언어 모델의 추론을 최적화하기 위해 희소화를 위한 감도 인식 임계값(SATS)과 경량 토큰 라우팅 프레임워크를 제안합니다. SATS는 백분위수 기반 교정을 지역 MLP 출력 감도 프록시로 대체하여 계층별 게이트 임계값을 결정하고, 라우팅 프레임워크는 토큰마다 계산 경로를 동적으로 선택합니다.
- SATS는 임계값 교정을 위해 활성화 백분위수 대신 감도 인식 선택 규칙을 사용합니다.
- 토큰 라우팅은 토큰 단위로 기본 경로와 수정된 경로 간에 동적으로 선택합니다.
- 여러 오픈 가중치 LLM에 대한 평가는 SATS가 일치하는 실제 희소성에서 임계값 기반 희소화 기준선보다 향상됨을 보여줍니다.
- 토큰 라우팅은 정적 활성화 수정 기준선보다 더 유리한 품질-처리량 트레이드오프를 제공합니다.
저자들은 개선된 임계값 교정과 토큰 라우팅이 LLM의 품질-처리량 트레이드오프를 향상시킬 수 있다고 결론지었습니다.