Pengguna bertanya apakah dua RTX 3060 memungkinkan menjalankan LLM lokal yang lebih besar

Seorang pengguna di r/LocalLLaMA sedang mempertimbangkan untuk menambahkan satu RTX 3060 kedua ke setup saat ini, yang mencakup i5-8500, 48 GB DDR4, dan satu RTX 3060 dengan VRAM 12 GB. Mereka saat ini menjalankan Gemma 4 26B-A4B (Q4_K_M) tetapi merasa model tersebut kurang wawasan, sementara model 31B terlalu lambat karena kekurangan VRAM.

• Pengguna ingin tahu apakah dua RTX 3060 dapat memuat kuantisasi Q4 atau Q5 dari model dense 31B.
• Mereka khawatir tentang penurunan kinerja karena slot PCIe kedua terhubung sebagai x4 alih-alih x16.
• Pengguna bertanya apakah pemisahan lapisan (layer splitting) akan membantu mengurangi hambatan yang disebabkan oleh bandwidth terbatas dari slot x4.