Исследователи предлагают метод частичной и полной оптимизации связей в глубоких дифференцируемых сетях логических вентилей (LGN) и сетях таблиц поиска (LUTN). Подход использует распределение вероятностей для выбора связи с наибольшим merit на каждый входной пин, одновременно обучая оптимальные типы вентилей или записи LUT.

  • LGN с оптимизированными связями превосходят стандартные LGN с фиксированными связями на бенчмарках Yin-Yang, MNIST и Fashion-MNIST, используя значительно меньше логических вентилей.
  • Метод достигает точности 98.92% на MNIST с двумя слоями по 8000 вентилей, требуя почти в 50 раз меньше вентилей, чем LGN с фиксированными связями.
  • Стабильность обучения до десяти слоев обеспечивается за счет высоких скоростей обучения, прямопроходных оценщиков (straight-through estimators) и отсечения типов вентилей с постоянным выходом.
  • Описание нейрона LUT обеспечивает стабильное обучение методом обратного распространения для сетей глубиной до шести слоев с в четыре раза меньшим количеством обучаемых параметров.
  • Алгоритм достигает точности 98.88% на LUTN, используя два слоя по 2000 6-входовых LUT.

Алгоритм обучения связей позволяет создавать значительно более эффективные модели, которые сохраняют или превышают точность традиционных подходов с фиксированными связями.