El usuario pregunta si dos RTX 3060 permiten ejecutar LLM locales más grandes

Un usuario de r/LocalLLaMA está considerando añadir una segunda RTX 3060 a su configuración actual, que incluye un i5-8500, 48 GB de DDR4 y una RTX 3060 con 12 GB de VRAM. Actualmente está ejecutando Gemma 4 26B-A4B (Q4_K_M) pero encuentra que carece de perspicacia, mientras que el modelo de 31B es demasiado lento debido a la insuficiencia de VRAM.

• El usuario quiere saber si dos RTX 3060 pueden cargar una cuantización Q4 o Q5 de un modelo denso de 31B.
• Le preocupa la penalización de rendimiento por el segundo slot PCIe estar cableado como x4 en lugar de x16.
• El usuario pregunta si la división de capas ayudaría a mitigar el cuello de botella causado por el ancho de banda limitado del slot x4.