MTPLX V2 memperkenalkan Mode Turbo untuk inferensi model MLX yang lebih cepat

Pengembang di balik MTPLX telah merilis versi 2 dari alat ini, yang membawa peningkatan kinerja signifikan untuk menjalankan model MLX pada perangkat keras Apple Silicon. Pembaruan ini berfokus pada mengoptimalkan kecepatan inferensi melalui implementasi kernel baru dan fitur manajemen cache.

• Mode Turbo memanfaatkan kernel matmul kuantisasi khusus verifikasi dan langkah verifikasi terkompilasi untuk mencapai 82 token per detik di MacBook Pro M5 Max.
• Rilis ini mencakup perubahan signifikan pada sistem cache KV SSD.
• Peningkatan telah dilakukan pada kemampuan pemanggilan alat konteks panjang.
• Ivan Fioravanti menyediakan benchmark awal yang membandingkan MTPLX dengan oMLX dan DGX spark.

Pembaruan ini bertujuan untuk menetapkan MTPLX sebagai runtime berkinerja tinggi untuk model bahasa besar lokal, khususnya bagi pengguna yang mencari kecepatan generasi yang lebih cepat pada perangkat Mac.