Архитектура PIN v2 предлагает метод предварительного выбора размера нейронной сети и скорости вывода до начала обучения с использованием связывания весов. Эта техника заставляет группы ячеек хранить одинаковые значения, позволяя сети сохранять свою ширину при одновременном резком сокращении числа хранимых весов.

  • Связывание разделяет ширину сети и стоимость хранения: модель с 256 единицами может уместиться в бюджет из 3000 чисел, который обычно позволял бы хранить лишь одну скрытую единицу.
  • В тестах против отсечения по величине (magnitude pruning), факторизации низкого ранга, квантования и дистилляции связывание победило в четырёх из пяти бюджетов битов и стало единственным методом, работоспособным при объёме менее 100 КБ.
  • При сжатии в 128 раз связанная модель показывает результат в пределах 1,2 пункта от несжатой версии.
  • Подход позволяет создать общую систему координат между моделями, давая базовой сети и линейному отображению возможность предсказывать варианты для невиданных комбинаций задач без переобучения.
  • Всего 43000 чисел (база плюс отображение) могут генерировать любую из 120 возможных задач, тогда как обычное хранение потребовало бы 14 миллионов чисел.

Эта структура позволяет разработчикам сначала задавать бюджеты хранения и ограничения вывода, позволяя архитектуре модели подчиняться этим ограничениям, а не настраиваться до достижения подходящего результата.