Pengguna menyelesaikan masalah pemuatan MoE pada dual RTX 3060 dengan menyesuaikan jumlah lapisan dan prioritas GPU

Seorang pengguna di r/LocalLLaMA melaporkan bahwa menambahkan kartu RTX 3060 kedua mencegah pemuatan model Mixture-of-Experts (MoE) besar seperti Qwen3.5-122B, yang sebelumnya berhasil dengan offload CPU pada satu kartu.

Masalah ini diselesaikan dengan mengurangi jumlah lapisan yang dimuat ke VRAM menjadi 12 untuk model 122B dan menyesuaikan pengaturan prioritas GPU setelah restart PC.

Solusi alternatif ini memungkinkan konfigurasi dual RTX 3060 untuk memuat model MoE besar yang sebelumnya tidak dapat diakses.