Пользователь ищет советы по оптимизации для двух GPU при запуске Qwen 3.6 35B

Пользователь Reddit с сервером, оснащенным двумя видеокартами RTX 5060 16GB и 80 ГБ ECC DDR4, просит совета по настройке для оптимизации производительности при распределении весов модели между картами.

• В конфигурации используется PCIe 3.0, что, по словам пользователя, может снизить эффективность тензорного параллелизма.
• Текущие бенчмарки показывают около 3200 токенов в секунду для обработки промпта и 100 токенов в секунду для генерации с моделью Qwen 3.6 35B.
• Более маленькая модель Qwen 27B достигает примерно 600 токенов в секунду для обработки промпта и 23 токена в секунду для генерации в конфигурации с тензорным разделением.
• Пользователь в настоящее время использует форматы GGUF с llama.cpp, но также имеет доступ к моделям vLLM NVFP4.

Пост направлен на сбор рекомендаций сообщества по настройкам для улучшения пропускной способности и задержек при запуске больших языковых моделей на аппаратном обеспечении с двумя GPU.