Sebuah investigasi praktis memeriksa decoding spekulatif longgar tanpa pelatihan, yang mempercepat sampling LLM autoregresif dengan menggunakan model bantu yang lebih cepat untuk menyusun token yang kemudian diverifikasi secara paralel. Studi ini menyatukan pendekatan yang ada dalam kerangka kerja bersama dan mengevaluasinya pada pengaturan kontemporer untuk menghasilkan temuan empiris bagi praktisi.
- Longgarnya jaminan tanpa kehilangan ketat dapat menghasilkan percepatan lebih lanjut, trade-off kemampuan-kecepatan yang terkontrol, atau bahkan peningkatan kemampuan.
- Evaluasi kemampuan diperlukan untuk metode longgar, tidak seperti decoding spekulatif tanpa kehilangan standar.
- Banyak pendekatan longgar bergantung pada drafter yang merupakan model bahasa yang baik, sehingga tidak cocok untuk drafter prediksi multi-token khusus yang ringan.