Seorang pengguna melaporkan eksperimen awal menjalankan model bahasa berbasis difusi (dLLMs), khususnya LLaDA2.1 dan Sumi, pada perangkat keras Apple Silicon menggunakan mesin kustom yang dibangun untuk perangkat M1 dan M2 Ultra.
- Throughput dasar yang ditetapkan adalah 4,6–22,2 tok/s pada M1 dan 32,1–122,6 tok/s pada M2 Ultra.
- Kuantisasi seragam 4-bit diadopsi sebagai default, menghasilkan ukuran model sekitar 9,57 GB dengan tingkat flip kepercayaan yang rendah.
- Beberapa optimasi diuji, termasuk cache elastis (ditolak), unmasking multi-blok (diterima secara provisional), dan spekulasi otomatis melalui S2D2 (diterima).
- Voting TSCV meningkatkan akurasi GSM8K sebesar 6–8 poin persentase dengan overhead CPU nol, sementara Credit Decoding memberikan peningkatan yang dapat diabaikan.
- Analisis routing mengungkapkan bahwa jumlah ahli berbeda lebih rendah dari yang diprediksi, dan kuantisasi tetap diperlukan karena dekuantisasi memperlambat kinerja.
Penulis bertujuan untuk membangun mesin difusi yang fungsional untuk perangkat pribadi dan mendapatkan pemahaman yang lebih mendalam tentang bagaimana model-model ini beroperasi.