Penulis mengajukan hipotesis bahwa jejak agen yang menggunakan alat dan gagal, seperti pemilihan alat yang salah atau argumen yang tidak sesuai format, dapat berfungsi sebagai data penalaan halus yang berharga untuk melatih model agar menjauh dari kesalahan tersebut. Posting ini mencari umpan balik komunitas mengenai apakah pelatihan pada jejak kegagalan yang telah dikoreksi efektif atau justru merugikan.
- Penulis mempertanyakan apakah jejak kegagalan "yang telah dikoreksi" memiliki kualitas lebih rendah karena perbaikan tersebut disimpulkan daripada diverifikasi.
- Tantangan utama yang diidentifikasi adalah menentukan kegagalan mana yang perbaikannya dapat diturunkan hanya dari jejak versus yang memerlukan kebenaran dasar eksternal.
- Penulis membuat alat baris perintah bernama trace2train untuk menguji hal ini dengan mendeteksi kegagalan dan menghasilkan file JSONL SFT/DPO LLaMA-Factory.
- Alat tersebut melewatkan pembuatan pasangan pelatihan ketika perbaikan tidak dapat diturunkan dari jejak untuk menghindari pembuatan label yang salah namun diyakini benar.
Posting ini bertujuan menentukan apakah penggunaan jejak agen yang gagal untuk penalaan halus merupakan strategi yang layak atau ide yang diketahui buruk.