Разработчик MTPLX выпустил вторую версию инструмента, которая приносит значительные улучшения производительности при запуске моделей MLX на аппаратном обеспечении Apple Silicon. Обновление сосредоточено на оптимизации скорости вывода через новые реализации ядер и функции управления кэшем.
- Turbo Mode использует пользовательские ядра quantized-matmul, специализированные для verify, и скомпилированный шаг verify для достижения 82 токенов в секунду на MacBook Pro M5 Max.
- В релизе внесены значительные изменения в систему SSD KV cache.
- Были улучшены возможности вызова инструментов для длинного контекста.
- Иван Фиораванти предоставил предварительные бенчмарки, сравнивающие MTPLX с oMLX и DGX spark.
Эти обновления направлены на то, чтобы сделать MTPLX высокопроизводительным рантаймом для локальных больших языковых моделей, особенно для пользователей, ищущих более быстрые скорости генерации на устройствах Mac.