يقدم المؤلفون مشفرًا تلقائيًا متناثرًا (SAE) من النوع Top-K المتصل من البداية للنهاية والمشروط بـ Procrustes، مصممًا لاستخراج سمات عالمية عبر البذور من نماذج BERT المدربة بشكل مستقل. يعالج هذا النهج تحدي مساحات السمات غير المتوازية الناتجة عن تعلم القاموس غير المحدب والتهيئة العشوائية.
- تحسب الطريقة دوران Procrustes العمودي بين مساحات التنشيط للبذور قبل تدريب SAE المشترك.
- تجمع بين تفرّد Top-K، وتحسين downstream من البداية للنهاية، وخسارة مساعدة لإحياء السمات الميتة.
- أظهرت التقييمات على خمس أزواج بذور مستقلة (عشرة نماذج BERT) عبر SST-2 وStanford Politeness وTweetEval Emotion معامل ارتباط بيرسون r ≥ 0.70 عبر البذور.
- ينتج خط الأنابيب سمات عالمية أكثر من أساليب المحاذاة اللاحقة على مجموعات البيانات الثلاث جميعها.
يعتقد المؤلفون أن هذا مهم لأنه يمكّن من استخراج أنماط سوسيولinguisticية قابلة للتفسير تكون متسقة عبر تهيئة النماذج المختلفة.