저자는 추론만 가능한 하드웨어에서 파인튜닝을 허용하도록 설계된 Mixture of Experts (MoE) 모델을 위한 새로운 희소 파인튜닝 방법인 USAF를 소개합니다.
- 이 방법은 어댑터를 사용하는 대신 희소 전문가 가중치와 라우터를 훈련합니다.
- 12 GB VRAM을 갖춘 AMD RX 6750 XT에서 Qwen3-30B-A3B의 파인튜닝을 가능하게 합니다.
- 이 프로젝트는 Apache 2.0 라이선스 하에 오픈 소스로 제공됩니다.
이 접근 방식은 일반적으로 파인튜닝과 관련된 높은 하드웨어 요구 사항을 제거하여 MoE 모델 사용자 정의에 대한 접근을 민주화하는 것을 목표로 합니다.