Представлен новый метод частичной и полной оптимизации соединений в глубоких дифференцируемых сетях логических вентилей (LGN) и сетях таблиц поиска (LUTN). Подход к обучению использует распределение вероятностей по соединениям для каждого входного контакта, выбирая соединение с наивысшей полезностью одновременно с обучением оптимальным типам вентилей или записям LUT.

  • LGN с оптимизированными соединениями превосходят стандартные варианты с фиксированными соединениями на бенчмарках Yin-Yang, MNIST и Fashion-MNIST, используя значительно меньше логических вентилей.
  • Метод достигает точности 98.92% на MNIST с двумя слоями по 8000 вентилей, требуя почти в 50 раз меньше вентилей, чем LGN с фиксированными соединениями.
  • Стабильность обучения для сетей глубиной до десяти слоев обеспечивается за счет высоких скоростей обучения, прямопроходных оценок и отсечения типов вентилей с постоянным выходом.
  • Описание нейрона LUT обеспечивает стабильное обучение методом обратного распространения в сетях глубиной до шести слоев при использовании в четыре раза меньше обучаемых параметров.
  • Алгоритм обучения соединений достигает точности 98.88% на LUTN, используя два слоя по 2000 6-входовых LUT.

Этот подход демонстрирует, что оптимизация соединений позволяет создавать значительно более эффективные модели, которые сохраняют или улучшают точность по сравнению с традиционными архитектурами с фиксированными соединениями.