В статье демонстрируется запуск модели Qwen3.6-35B-A3B с использованием двух графических карт NVIDIA P102-100, которые в совокупности стоят около 100 долларов. Эта конфигурация обеспечивает 20 ГБ видеопамяти и пропускную способность памяти на уровне 448 ГБ/с.

  • Система поддерживает 3 одновременных пользователей с контекстными окнами до 32768 токенов.
  • Скорость инференса во время тестирования достигла примерно 23,5 токена в секунду.
  • Конфигурация использует llama.cpp для управления загрузкой модели и распределением слотов между двумя GPU.

Этот подход предлагает недорогую альтернативу для локального запуска больших языковых моделей, обеспечивая лучшую скорость и объем контекста по сравнению с более дешевыми картами с меньшим объемом видеопамяти.