Qwen3.5 122B A10B dengan UD-Q2_K_XL muat di RAM 64GB dan meningkatkan pengetahuan internal

Seorang pengguna mendemonstrasikan bahwa Qwen3.5 122B A10B yang dikuantisasi dengan UD-Q2_K_XL dapat muat ke dalam 64GB RAM sistem, menggantikan opsi terbaik sebelumnya untuk batasan tersebut.

• Model ini mencapai respons berkualitas lebih tinggi dan pengetahuan internal yang lebih baik dibandingkan Qwen3 Next 80B di UD-Q4_K_XL.
• Kecepatan generasi turun menjadi sekitar 2,9 tok/s pada CPU DDR4, meskipun DDR5-5600 dapat meningkatkannya menjadi 6 tok/s.
• Arsitektur menggunakan parameter aktif sebanyak 10B melalui MTP, sedangkan Qwen3 Next 80B hanya menggunakan ~3,5B parameter aktif.
• Varian REAP dari model tersebut terbukti lebih buruk dan tidak menyelesaikan kecepatan pemrosesan prompt yang lambat.

Konfigurasi ini memungkinkan pengguna dengan memori terbatas untuk mengakses kemampuan model yang lebih besar, meskipun pemrosesan prompt yang lambat membuatnya tidak cocok untuk beban kerja agentic yang memerlukan pencarian informasi cepat.