أطلقت Tencent نقاط فحص Simple Attention Sparsification (SAS) التي تتعلم ترتيب واختيار كتل KV لكل استعلام في نماذج Qwen3. على عكس الطرق التي تستخلص درجات الانتباه الكثيفة، تضيف SAS بوابات مستمرة إلى الكتل المختارة، مما يتيح التحسين الشامل لترتيب السياق باستخدام خسارة نمذجة اللغة.

  • يتضمن الإصدار نقاط فحص gate-router للنماذج Qwen3-4B وQwen3-8B وQwen3-14B.
  • هذه أوزان للموجه فقط وتتطلب نموذج أساس Qwen3 العام المقابل والخلفية seer_attn في نسخة مشتقة من SGLang.
  • يستخدم إعداد sparse-attention الافتراضي ميزانية فك تشفير مكونة من 2,048 رمزًا، ولكن يمكن تقييم نقاط الفحص بميزانيات مكونة من 1,024 أو 2,048 أو 4,096 رمزًا دون إعادة التدريب.

تسمح نقاط الفحص للمستخدمين بتقديم واجهة برمجة تطبيقات متوافقة مع OpenAI باستخدام الخلفية seer_attn للاستنتاج الفعال.