El método MiCA (Minor Component Adaptation) se ha fusionado en la rama principal de la biblioteca PEFT de Hugging Face, permitiendo a los usuarios instalarlo directamente desde el código fuente. Se expone a través de la interfaz LoRA existente estableciendo `init_lora_weights="mica"`.
- MiCA adapta los pesos utilizando el subespacio singular menor en lugar de las direcciones dominantes, inicializándose como una operación no operativa y manteniendo la matriz B congelada mientras se entrena solo A.
- Los experimentos muestran aproximadamente un 90% más de absorción de conocimiento, un 20% menos de olvido catastrófico y un 80% menos de parámetros entrenables en comparación con LoRA estándar.
- Los hiperparámetros recomendados para MiCA son aproximadamente la mitad del rango (`r_mica ≈ r_lora / 2`) y el doble de la tasa de aprendizaje de una configuración LoRA funcional.
- El método está principalmente destinado a preentrenamiento continuo o preentrenamiento adaptativo al dominio, con un flujo de trabajo que sugiere fusionar el adaptador antes del ajuste por instrucciones.
Esta integración proporciona una alternativa más eficiente en parámetros a LoRA para inyectar nuevo conocimiento en modelos preentrenados mientras se preserva el comportamiento existente durante la inicialización.