Apple은 제3세대 파운데이션 모델(AFAM3)을 위한 새로운 아키텍처를 도입하여 "명령 따르기 가지치기"를 활용하여 활성 매개변수 수를 크게 줄였습니다. 이 모델은 토큰마다가 아닌 프롬프트당 한 번 라우팅 결정을 내림으로써 MLP 레이어의 약 20%를 활성화하도록 설계되었습니다.

  • 시스템은 전체 모델을 플래시 스토리지에 보관하고 언제든지 작은 세트의 "전문가" 매개변수(10억~40억 개 사이)만 작업 메모리에 로드합니다.
  • 공유 전문가의 핵심부는 항상 활성 상태로 유지되며, 나머지 매개변수는 입력 프롬프트에 따라 필요할 때 로드됩니다.
  • 이 접근 방식은 30B 활성 MoE가 14B 활성 모델과 비교 가능한 읽기 대역폭 성능을 달성하도록 허용하며, 효과적으로 9B 밀집 모델을 3B 활성 모델로 전환합니다.

이 방법은 희소 활성화 패턴을 통해 성능을 유지하면서 메모리 사용을 최소화하여 효율성을 개선하는 것을 목표로 합니다.