MTPLX V2가 Turbo Mode를 도입하여 MLX 모델 추론 속도 향상

MTPLX 개발자는 Apple Silicon 하드웨어에서 MLX 모델을 실행할 때 상당한 성능 개선을 가져오는 도구의 버전 2를 출시했습니다. 이 업데이트는 새로운 커널 구현 및 캐시 관리 기능을 통해 추론 속도를 최적화하는 데 중점을 둡니다.

• Turbo Mode는 사용자 지정 검증 전용 양자화된 행렬 곱셈 커널과 컴파일된 검증 단계를 활용하여 MacBook Pro M5 Max에서 초당 82개의 토큰을 달성합니다.
• 이번 릴리스에는 SSD KV 캐시 시스템에 대한 상당한 변경 사항이 포함됩니다.
• 긴 컨텍스트 도구 호출 기능이 개선되었습니다.
• Ivan Fioravanti가 MTPLX를 oMLX 및 DGX spark와 비교한 예비 벤치마크를 제공했습니다.

이러한 업데이트는 특히 Mac 기기에서 더 빠른 생성 속도를 원하는 사용자를 위해 로컬 대규모 언어 모델에 대한 고성능 런타임으로 MTPLX를 확립하는 것을 목표로 합니다.