Проект vLLM обновил свой бэкенд моделирования на базе transformers, чтобы динамически применять специфичные для вывода слияния слоёв во время выполнения, позволяя совместимым моделям достигать нативной скорости вывода vLLM без написания пользовательского кода. Это обновление использует torch.fx для статического анализа и манипуляций с AST, чтобы выявлять и оптимизировать паттерны, такие как слитные операции для Экспертного параллелизма в моделях Mixture-of-Experts.
- Бенчмарки на моделях Qwen3 (4B, 32B и 235B параметров FP8 MoE) показывают, что обновлённый бэкенд соответствует производительности ручных нативных реализаций vLLM в конфигурациях с одним GPU, тензорным параллелизмом и параллелизмом по данным/экспертам.
- Интеграция поддерживает стандартные опции параллелизма, такие как --tensor-parallel-size и --data-parallel-size, без изменения конфигурации настройки обслуживания.
- Оптимизированные операции включают отображение на ядра vLLM для Экспертного параллелизма и слитные блоки MergedColumnParallelLinear/QKVParallelLinear, которые обеспечивают автоматический вывод планов тензорного и конвейерного параллелизма.
Модели, обрабатываемые через этот бэкенд, остаются полностью компилируемыми с помощью torch.compile и CUDA Graphs, сохраняя при этом возможность использования для обучения, оценки и RL-роллаутов.
Это улучшение позволяет авторам моделей запускать модели Hugging Face внутри vLLM с оптимизированной производительностью без переноса кода, сокращая разрыв между удобством использования и максимальной утилизацией оборудования.