Un utilisateur de Hugging Face discute de sa tentative de fine-tuner le modèle Llama-3.1-8B en utilisant QLoRA et un script d'automatisation personnalisé appelé ChetGPT. L'objectif est de créer un modèle d'écriture créative plutôt qu'un modèle instructif, en utilisant les romans Harry Potter comme données d'entraînement.
L'utilisateur rapporte que suivre les conseils de GPT a conduit à des résultats désastreux, avec des scènes coupées aléatoirement ou réarrangées incorrectement. Il partage son code Python pour `train_auto.py`, qui comprend des fonctionnalités telles que l'analyse automatique des données, la détermination du montant d'apprentissage basée sur la taille des données et des tests de génération pour vérifier l'apprentissage du style.
Le post sert de demande de commentaires sur la question de savoir si cette approche et le code associé sont corrects pour atteindre les capacités d'écriture créative souhaitées.