Hugging Faceのユーザーが、QLoRAとChetGPTというカスタム自動化スクリプトを使用してLlama-3.1-8Bモデルをファインチューニングしようとした試みについて議論しています。目標は、指示に従うモデルではなくクリエイティブライティング用のモデルを作成することであり、トレーニングデータとしてハリー・ポッターの小説を使用します。

ユーザーは、GPTからのアドバイスに従った結果、シーンがランダムに切り捨てられたり正しく再配置されたりするなど、悲惨な結果になったと報告しています。彼らは、自動データ分析、データサイズに基づく学習量の決定、スタイル学習を検証するための生成テストなどの機能を含む`train_auto.py`のPythonコードを共有しています。

この投稿は、このアプローチと関連するコードが、望ましいクリエイティブライティング能力を実現するために正しいかどうかについてのフィードバックを求めるものです。