著者は、推論のみに対応したハードウェア上でファインチューニングを可能にするために設計された、Mixture of Experts (MoE) モデル用の新しいスパースファインチューニング手法であるUSAFを紹介します。
- この手法はアダプタを使用する代わりに、スパースな専門家の重みとルーターをトレーニングします。
- 12 GBのVRAMを持つAMD RX 6750 XT上でQwen3-30B-A3Bのファインチューニングを可能にします。
- このプロジェクトはApache 2.0ライセンスの下でオープンソースです。
このアプローチは、ファインチューニングに伴う通常の高ハードウェア要件を取り除くことで、MoEモデルのカスタマイズへのアクセスを民主化することを目指しています。