著者らは、標準的なフィードフォワードネットワーク（FFN）に対するパラメータ非依存の代替案として、交差や有界正の否定などの明示的なファジー集合演算を用いるNC-FFNを提案する。この設計により、すべての隠れユニットが明示的な論理形式を持ちながら、スケールにおけるGELUベースラインのパラペルキシティを維持する。

ロジックの局所化と性能の低下に対処するため、モデルは学習された忘却率を持つシーケンス量化子のブロックを組み込んでいる。このアプローチは訓練初期に文法的な欠損を回復し、LAMBADAスコアをわずかに向上させる。

結果として得られるFFNは解釈可能となり、ユニットは比較級や負の極性項目などの許容因子に対して活性化して許容される単語を予測する文法ライセンス検出子として機能する。

この研究は、Transformer FFNが言語をどのように許容するかについて、読みやすく、構築段階から解釈可能なメカニズムを提供し、表現と機能の両方の説明を与える。