Пользователь проводит бенчмарк конфигурации из четырех видеокарт NVIDIA RTX 5060 Ti для запуска модели Qwen3.6-27B, нацеливаясь на экономичную генерацию кода с поддержкой большого контекстного окна.
Конфигурация запускает модель в квантовании Q8 с ключевым-значением кэшем FP16 и включенным Multi-Token Prediction (MTP) для максимизации точности и скорости.
Тестирование на инстансе Vast AI показало 608 токенов/с для холодного префилла и 52,2 токена/с для декодирования при длине контекста 256K. Автор сравнивает это с альтернативами, такими как две RTX 3090 и Mac M5 Max, отмечая, что конфигурация из четырех 5060 Ti предлагает лучшее соотношение цены и производительности для плотных моделей.
Эта настройка обеспечивает отличную скорость инференса для генерации кода уровня state-of-the-art в рамках бюджета на оборудование в $2 000.