USAF permet le fine-tuning des modèles MoE sur des GPU ne supportant que l'inférence

L'auteur présente USAF, une nouvelle méthode de fine-tuning éparse pour les modèles Mixture of Experts (MoE), conçue pour permettre le fine-tuning sur du matériel capable uniquement d'inférence.

• La méthode entraîne les poids des experts épars et le routeur au lieu d'utiliser des adaptateurs.
• Elle permet le fine-tuning de Qwen3-30B-A3B sur un AMD RX 6750 XT avec 12 Go de VRAM.
• Le projet est open source sous licence Apache 2.0.

Cette approche vise à démocratiser l'accès à la personnalisation des modèles MoE en supprimant les exigences matérielles élevées généralement associées au fine-tuning.