Pembatasan Ambang Sensitivitas-Aware dan Rute Token untuk Sparsifikasi Aktivasi dalam Model Bahasa Besar

Para peneliti mengusulkan Pembatasan Ambang Sensitivitas-Aware for Sparsity (SATS) dan framework rute token ringan untuk mengoptimalkan inferensi dalam Model Bahasa Besar. SATS menggantikan kalibrasi berbasis persentil dengan proksi sensitivitas keluaran MLP lokal untuk menentukan ambang gerbang per lapisan, sementara framework rute secara dinamis memilih jalur komputasi per token.

• SATS menggunakan aturan seleksi yang sadar sensitivitas alih-alih persentil aktivasi untuk kalibrasi ambang.
• Rute token secara dinamis memilih antara jalur dasar dan dimodifikasi pada basis per token.
• Evaluasi pada beberapa LLM bobot terbuka menunjukkan SATS meningkatkan baseline sparsifikasi berbasis ambang pada sparsity aktual yang cocok.
• Rute token menghasilkan trade-off kualitas-throughput yang lebih menguntungkan daripada baseline modifikasi aktivasi statis.

Para penulis menyimpulkan bahwa kalibrasi ambang yang ditingkatkan dan rute token dapat meningkatkan trade-off kualitas-throughput dalam LLM.