Ejecutando Qwen3.6-35B en dos GPUs P102-100 usadas por $100

El artículo demuestra la ejecución del modelo Qwen3.6-35B-A3B utilizando dos tarjetas gráficas NVIDIA P102-100, que cuestan aproximadamente $100 en conjunto. Esta configuración proporciona 20GB de VRAM y un ancho de banda de memoria de 448GB/s.

• El sistema soporta 3 usuarios concurrentes con ventanas de contexto de hasta 32768 tokens.
• Las velocidades de inferencia alcanzaron aproximadamente 23.5 tokens por segundo durante las pruebas.
• La configuración utiliza llama.cpp para gestionar la carga del modelo y la asignación de ranuras entre las dos GPUs.

Este enfoque ofrece una alternativa de bajo costo para ejecutar modelos de lenguaje grandes localmente, proporcionando mejor velocidad y capacidad de contexto que tarjetas más baratas con menos VRAM.