Apple telah memperkenalkan arsitektur baru untuk model fondasi generasi ketiganya (AFM3) yang memanfaatkan "Pruning Mengikuti Instruksi" untuk secara signifikan mengurangi jumlah parameter aktif. Model ini dirancang untuk mengaktifkan sekitar 20% dari lapisan MLP-nya dengan membuat keputusan routing sekali per prompt, bukan per token.
- Sistem menyimpan seluruh model dalam penyimpanan flash dan hanya memuat satu set kecil parameter "ahli" (antara 1 hingga 4 miliar) ke memori kerja pada suatu waktu.
- Inti ahli yang dibagikan tetap selalu aktif, sementara sisa parameter dimuat sesuai permintaan berdasarkan prompt masukan.
- Pendekatan ini memungkinkan MoE aktif 30B mencapai kinerja bandwidth baca yang sebanding dengan model aktif 14B, dan secara efektif mengubah model padat 9B menjadi model aktif 3B.
Metode ini bertujuan meningkatkan efisiensi dengan meminimalkan penggunaan memori sambil mempertahankan kinerja melalui pola aktivasi jarang.