Разработчик успешно запустил модель DeepSeek V4 Flash на одном GPU NVIDIA RTX 6000 Pro, используя модифицированную версию vLLM под названием vLLM-Moet. Это достижение стало возможным благодаря специфическим техникам сжатия, позволяющим разместить большую языковую модель в ограниченном VRAM потребительского оборудования.

  • Метод включает сжатие маршрутизируемых экспертов до 2 бит при сохранении экспертов fp4, что позволяет загрузить модель целиком на один GPU.
  • Первоначальная загрузка требует около 150 ГБ оперативной памяти или расширенного файла подкачки для обработки разделения safetensor перед перемещением модели в VRAM.
  • Тесты на RTX 6000 Pro показывают скорость генерации токенов от примерно 100 до 134 токенов в секунду в зависимости от длины контекста.
  • Сообщается, что метод также поддерживает GLM 5.2, хотя для этой конфигурации требуется как минимум два GPU RTX 6000 Pro.

Это достижение демонстрирует, что высокопроизводительные модели, такие как DeepSeek V4 Flash, могут быть доступны на одних потребительских GPU благодаря специализированным модификациям движка и сжатию экспертов.