Para peneliti mengusulkan Fork-think with confidence, sebuah metode yang meningkatkan penalaran model bahasa besar dengan mengidentifikasi titik percabangan menggunakan kepercayaan model dalam satu jalur seeding sebelum melakukan sampling pada beberapa kelanjutan. Paradigma putuskan-dulu-lalu-pikir ini kontras dengan metode yang ada yang melakukan sampling jalur terlebih dahulu dan kemudian memangkasnya.
- Mengurangi konsumsi token hingga 30% dan waktu eksekusi hingga 57% di tiga model dan tiga benchmark penalaran.
- Berkinerja setara atau lebih baik daripada pemikiran paralel tanpa memerlukan pelatihan ulang, pemanasan, atau pelatihan offline.
- Menunjukkan bahwa sampling pada posisi yang lebih lanjut menghasilkan generasi yang jauh lebih baik.
- Bergabung dengan mekanisme yang ada seperti penghentian dini dan voting tertimbang untuk mencapai kinerja state-of-the-art.
Pendekatan ini menetapkan percabangan yang telah ditentukan sebelumnya sebagai arah yang menjanjikan untuk penalaran LLM yang efisien dengan menghindari overgeneration yang melekat pada metode pikirkan-dulu-lalu-putuskan.