Un usuario en Hugging Face discute su intento de ajustar finamente el modelo Llama-3.1-8B utilizando QLoRA y un script de automatización personalizado llamado ChetGPT. El objetivo es crear un modelo de escritura creativa en lugar de uno instruccional, utilizando las novelas de Harry Potter como datos de entrenamiento.
El usuario informa que seguir los consejos de GPT resultó en desastrosos resultados, con escenas cortadas aleatoriamente o reorganizadas incorrectamente. Comparte su código Python para `train_auto.py`, que incluye funciones como análisis automático de datos, determinación de la cantidad de aprendizaje basada en el tamaño de los datos y pruebas de generación para verificar el aprendizaje del estilo.
La publicación sirve como una solicitud de comentarios sobre si este enfoque y el código asociado son correctos para lograr las capacidades deseadas de escritura creativa.