Seorang pengguna meminta Codex untuk mengoptimalkan runtime oMLX untuk model affine 8-bit DeepSeek V4 Flash sebesar 302GB, yang menghasilkan peningkatan kinerja signifikan pada Mac Studio M3 Ultra. Perubahan ini memungkinkan kernel Metal MoE DeepSeek native dan mengganti pengurutan rute generik dengan jalur bucket/counting.
- Kecepatan praisi meningkat dari sekitar 300 tok/s menjadi sekitar 533 tok/s untuk prompt 12K.
- Kecepatan dekoding membaik dari sekitar 7,31 tok/s menjadi sekitar 20-22 tok/s dalam benchmark terkontrol.
- Eksekusi Hermes dunia nyata dengan konteks 80K-120K mempertahankan kecepatan dekoding sekitar 19,5-20,7 tok/s.
- Optimasi ini menambahkan instansiasi kernel Metal affine 8-bit dan kernel dekoding berbasis indeks rute untuk mengurangi overhead.
Penulis mencari verifikasi komunitas bahwa perubahan tersebut tidak menyebabkan kehilangan akurasi yang berarti, dengan mencatat bahwa bobot dan format kuantisasi tetap tidak berubah.