Пользователь проводит бенчмаркинг передачи PCIe и производительности на конфигурации с двумя GPU с использованием llama.cpp и модели Qwen3.6-27B-UD-Q4_K_XL.gguf при контексте 180k. Тест сравнивает режимы тензорного параллелизма и конвейерного параллелизма для оценки использования пропускной способности и общей производительности.

  • Режим тензорного параллелизма обеспечивает скорость декодирования 47 токенов в секунду против 30 токенов в секунду для конвейерного параллелизма.
  • Режим конвейерного параллелизма дает более высокую скорость префилла 1250 токенов в секунду по сравнению с 650 токенов в секунду при тензорном параллелизме.
  • Мониторинг пропускной способности PCIe через nvidia-smi показывает устойчивую передачу данных во время декодирования в режиме тензорного параллелизма, тогда как конвейерный параллелизм демонстрирует переменные пики префилла и низкую устойчивую передачу.

Результаты указывают на то, что использование ризеров для подключения GPU может не создавать значительных узких мест в производительности, подтверждая жизнеспособность таких аппаратных конфигураций для многопроцессорных систем.