Пользователь попросил Codex оптимизировать время выполнения oMLX для 302-гигабайтной аффинной модели DeepSeek V4 Flash 8-bit, что привело к значительному росту производительности на Mac Studio M3 Ultra. Изменения позволяют использовать нативные Metal-ядра DeepSeek MoE и заменяют общую сортировку маршрутов на пути с использованием корзин/подсчёта.
- Скорость префилла увеличилась с ~300 ток/с до ~533 ток/с для промпта длиной 12K.
- Скорость декодирования улучшилась с ~7,31 ток/с до ~20–22 ток/с в контролируемых тестах.
- В реальных условиях при работе Hermes с контекстом 80K–120K скорость декодирования поддерживалась на уровне 19,5–20,7 ток/с.
- Оптимизация добавляет инстанциации Metal-ядер для аффинных вычислений в 8-битном формате и ядра декодирования с индексацией маршрутов для снижения накладных расходов.
Автор просит сообщество проверить, что изменения не вызывают значительной потери точности, отмечая, что веса и форматы квантования остались без изменений.