Penulis mempertanyakan praktik fine-tuning model pada jejak chain-of-thought (CoT) state-of-the-art yang diringkas atau disensor, dengan berargumen bahwa hal tersebut bukan solusi ajaib untuk meningkatkan kualitas output.
- Distilasi tidak meningkatkan kualitas output melebihi kemampuan model dasar.
- Fine-tune berdasarkan model Fable dan Anthropic dikritik karena jejak penalaran mereka berbeda secara signifikan dari output model sebenarnya.
- Ketidakcocokan ini menjamin bahwa model fine-tuned yang dihasilkan akan berkinerja lebih buruk daripada sebelumnya.
Penulis menyarankan bahwa mengandalkan jejak yang diringkas ini kontraproduktif untuk meningkatkan kemampuan penalaran.