Guía de ejemplo de ajuste fino con MLX

Un usuario demuestra el ajuste fino de un modelo de instrucciones de 7B en Apple Silicon utilizando MLX para cambiar su estilo a la literatura de alta fantasía. El experimento muestra que un conjunto de datos pequeño y curado puede alterar significativamente el registro y el diccionario de un modelo con recursos computacionales mínimos.

• Hardware: Apple M2 con 64 GB de memoria unificada ejecutando macOS Sonoma y Python 3.12.4.
• Modelo: Mistral-7B-Instruct-v0.3 cuantizado a 4 bits usando QLoRA, entrenando solo el 0.145% de los pesos.
• Conjunto de datos: Aproximadamente 1.200 ejemplos extraídos de las obras de Tolkien y The Book of the New Sun de Gene Wolfe.
• Entrenamiento: Menos de 2 épocas con la pérdida calculada solo en las completaciones del asistente mediante `--mask-prompt`.
• Resultados: La perplexity disminuyó un 35%, logrando un cambio medible de respuestas genéricas a prosa literaria específica.

Este proceso demuestra que el ajuste fino local es un proyecto rápido y sin conexión con un costo marginal cercano a cero, validando investigaciones que indican que pequeños conjuntos de datos de alta calidad pueden cambiar poderosamente las salidas del modelo.