Пользователь выпустил Juud_engine, экспериментальный форк Strata v0.1.39 под лицензией MIT, предназначенный для локального вывода модели Qwen3.8-Flash-Next на потребительском оборудовании, таком как RTX 4090. Проект вводит две опциональные изменения декодирования на стороне CPU: сокращение времени простоя рабочих процессов после пакетов с экспертами CPU и пропуск квантования активаций CPU для токенов, полностью маршрутизируемых на GPU.
- Бенчмарки на i7-13700 и RTX 4090 показали улучшение медианной пропускной способности парного декодирования на 3.1–9.1% и снижение задержки на 0.5–5.6% при различных длинах контекста.
- Отдельный контрольный запуск с другими настройками кэша показал более высокие приросты пропускной способности в диапазоне 9.6–15.6%, хотя согласованность вывода варьировалась между конфигурациями тестов.
- Репозиторий содержит исходные диффы, инструкции по сборке, хеши моделей и скрипт проверки для независимой репликации.
Автор приглашает к обсуждению методологии бенчмарков и просит провести независимые репликации для подтверждения заявлений о производительности.