USAF permite el ajuste fino de modelos MoE en GPUs que solo admiten inferencia

El autor presenta USAF, un nuevo método de ajuste fino disperso para modelos Mixture of Experts (MoE) diseñado para permitir el ajuste fino en hardware capaz únicamente de inferencia.

• El método entrena los pesos dispersos de los expertos y el enrutador en lugar de usar adaptadores.
• Permite ajustar Qwen3-30B-A3B en una AMD RX 6750 XT con 12 GB de VRAM.
• El proyecto es de código abierto bajo la licencia Apache 2.0.

Este enfoque busca democratizar el acceso a la personalización de modelos MoE eliminando los altos requisitos de hardware típicamente asociados con el ajuste fino.