Seorang pengguna Reddit bertanya bagaimana Prediksi Multi-Token (MTP) memverifikasi token yang dihasilkan secara efisien tanpa menimbulkan latensi generasi autoregresif. Penulis bingung tentang bagaimana lapisan terakhir model dapat mengonfirmasi kebenaran N token yang diprediksi hanya menggunakan informasi yang tersedia pada tahap tersebut.
- Pengguna menggambarkan skenario di mana kepala MTP memprediksi "green" alih-alih "blue" yang benar dan bertanya-tanya bagaimana kesalahan ini dideteksi dengan cepat.
- Mereka mencatat bahwa prefill standar mengisi cache, tetapi tidak yakin bagaimana verifikasi terjadi tanpa menjalankan setiap token melalui kedalaman model penuh.
- Penjelasan yang dikutip menyarankan menggunakan mask perhatian kausal untuk mengisi prefill satu token pada satu waktu dan memverifikasi embedding output untuk masing-masing dari N token.
- Pengguna menantang ini dengan bertanya bagaimana LLM decoder-only dapat menilai pekerjaan yang dilakukan oleh kepala MTP jika mereka tidak memiliki konteks yang cukup dari lapisan sebelumnya.
Postingan tersebut menyoroti kebingungan yang berkelanjutan mengenai implementasi teknis verifikasi MTP dalam arsitektur decoder-only.