Hugging Face 上的一位用户讨论了他们尝试使用 QLoRA 和名为 ChetGPT 的自定义自动化脚本微调 Llama-3.1-8B 模型的过程。目标是创建一个创意写作模型,而不是教学模型,并使用《哈利·波特》小说作为训练数据。
该用户报告称,遵循 GPT 的建议导致了灾难性的结果,场景被随机切断或错误地重新排列。他们分享了用于 `train_auto.py` 的 Python 代码,其中包括自动数据分析、基于数据大小的学习量确定以及用于验证风格学习的生成测试等功能。
该帖子旨在征求反馈,以确认这种方法及相关代码是否正确地实现了所需的创意写作能力。