Seorang pengguna di Hugging Face membahas upaya mereka untuk melakukan fine-tuning pada model Llama-3.1-8B menggunakan QLoRA dan skrip otomatisasi kustom bernama ChetGPT. Tujuannya adalah membuat model penulisan kreatif daripada model instruksional, dengan menggunakan novel-novel Harry Potter sebagai data pelatihan.
Pengguna melaporkan bahwa mengikuti saran dari GPT menghasilkan hasil yang bencana, dengan adegan yang dipotong secara acak atau disusun ulang secara tidak benar. Mereka membagikan kode Python mereka untuk `train_auto.py`, yang mencakup fitur seperti analisis data otomatis, penentuan jumlah pembelajaran berdasarkan ukuran data, dan uji generasi untuk memverifikasi pembelajaran gaya.
Posting ini berfungsi sebagai permintaan umpan balik mengenai apakah pendekatan ini dan kode terkait benar untuk mencapai kemampuan penulisan kreatif yang diinginkan.