MTPLX V2 introduce Turbo Mode para una inferencia más rápida de modelos MLX

El desarrollador detrás de MTPLX ha lanzado la versión 2 de la herramienta, que trae mejoras significativas de rendimiento al ejecutar modelos MLX en hardware Apple Silicon. La actualización se centra en optimizar la velocidad de inferencia a través de nuevas implementaciones de kernels y funciones de gestión de caché.

• Turbo Mode utiliza kernels quantized-matmul especializados en verify y un paso de verify compilado para lograr 82 tokens por segundo en un MacBook Pro M5 Max.
• La versión incluye cambios significativos en el sistema SSD KV cache.
• Se han realizado mejoras en las capacidades de llamada de herramientas para contexto largo.
• Ivan Fioravanti proporcionó benchmarks preliminares que comparan MTPLX con oMLX y DGX spark.

Estas actualizaciones tienen como objetivo establecer a MTPLX como un runtime de alto rendimiento para modelos de lenguaje grandes locales, particularmente para usuarios que buscan velocidades de generación más rápidas en dispositivos Mac.