PrismML telah mengembangkan versi terkompresi dari model open-source Qwen3.6 milik Alibaba, memungkinkan model bahasa besar dengan 27 miliar parameter berjalan di iPhone 17 Pro. Startup ini mengurangi ukuran model dari sekitar 54 gigabyte menjadi kurang dari 4 gigabyte menggunakan teknik matematika yang berasal dari penelitian Caltech.
- Semua 27 miliar parameter tetap aktif selama inferensi, berbeda dengan model Siri baru Apple yang hanya mengaktifkan 1 hingga 4 miliar dari 20 miliar parameternya.
- Model terkompresi mendukung tugas chat kompleks, penalaran, agen otonom, dan pemrograman perangkat lunak.
- PrismML mengklaim bahwa teknik kompresi tidak menghambat kinerja meskipun ada pengurangan ukuran yang signifikan.
- Model open-source ini dijadwalkan untuk dirilis pada hari Selasa minggu depan.
CEO PrismML, Babak Hassibi, memprediksi bahwa pendekatan ini akan secara fundamental mengubah ekonomi AI dengan menggeser sebagian besar pemrosesan kecerdasan ke perangkat lokal daripada cloud.