تحقق الباحثون مما إذا كان يمكن فهم الأوزان الفردية في الشبكات العصبية عالميًا عبر توزيع التدريب الكامل من خلال تحديد متى تكون مهمة. قدموا خط أنابيب LLM آليًا يولد ويحقق أوصافًا قابلة للقراءة البشرية لدوال الأوزان على نصوص محفوظة.
- قارنت الدراسة محولين متناثرين ومثنين كثيفين لقياس جزء الأوزان القابلة للتفسير.
- يمكن تفسير جزء ذي معنى من أوزان نموذج المحول المتناثر، حيث تمتلك 12 إلى 31% وصفًا قصيرًا واحدًا يحدد استخدامها.
- يتسع الفارق في القابلية للتفسير بين النماذج المتناثرة والكثيفة عند تجاهل الأوصاف غير الموثوقة.
تُظهر النتائج أن المعاملات الفردية في المحولات المتناثرة أكثر ملاءمة للتفسير الميكانيكي من تلك الموجودة في البنى الكثيفة.