연구자들은 MAESTRO를 소개했습니다. 이는 희소 활성화 Mixture-of-Experts (MoE) 언어 모델용 구조화된 가지치기 프레임워크로, 전체 전문가 뱅크의 메모리 병목 현상을 해결합니다. 이 방법은 자기회귀적 전문가 활성화 궤적을 에르고딕 마르코프 체인으로 모델링하여 계층 간 종속성을 포착하고 전역적으로 중요한 휴리스틱을 제공합니다.
- MAESTRO는 지역적 휴리스틱이 아닌 전이 기반 라우팅을 사용하여 전문가의 중요도를 평가합니다.
- 엄격한 50% 압축 조건에서 최신 기준선 대비 최대 10.61% 높은 평균 성능 유지율을 달성합니다.
- 이 접근 방식은 Safety, Bias 및 Ethics를 포함한 이질적인 작업 전반에 걸쳐 더 일관된 일반화를 나타내는 상당히 낮은 교차 작업 분산을 보여줍니다.