يقترح المؤلفون بديلاً محايدًا من حيث المعلمات للشبكة الأمامية القياسية (FFN) في المحولات، يُسمى NC-FFN، والذي يستخدم عمليات مجموعات ضبابية صريحة مثل التقاطع والنفي الموجب المحدود. يسمح هذا التصميم لكل وحدة خفية بحمل شكل منطقي صريح مع الحفاظ على التشتت (perplexity) للأساس GELU على النطاق الواسع.
لمعالجة توطين المنطق وتدهور الأداء، يدمج النموذج كتلة من مقادير التسلسل بمعدلات نسيان مُتعَلَّمة. يستعيد هذا النهج العيوب النحوية مبكرًا في التدريب ويحسن درجات LAMBADA بشكل متواضع. يصبح FFN الناتج قابلاً للقراءة، حيث تعمل الوحدات ككاشفات ترخيص نحوي تنشط على المرخصات مثل المقارنات أو عناصر القطبية السالبة للتنبؤ بالكلمات المرخصة. يوفر هذا العمل آلية قابلة للقراءة ومُفسَّرة بالبناء لكيفية ترخيص شبكات FFN في المحولات للغة، مما يقدم حسابًا لكل من التمثيل والوظيفة.