Авторы представляют предварительно зарегистрированное правило отбора, которое определяет до реализации, стоит ли строить эволюционный внешний цикл по параметрам нейронной сети по сравнению с дешёвой альтернативой однократного применения. Правило вычисляет метрику восстановления R, определённую как лучший выигрыш однократного применения, делённый на лучший выигрыш любого дешёвого метода, и предписывает пропускать внешний цикл, когда R больше или равно 90%.

  • Правило отбора вычисляет одно число на шлюзе фазы 0: R = s/G, где s — выигрыш лучшего градиентного/кривизны статистического показателя однократного применения, а G — лучший выигрыш любого дешёвого метода, оценённого.
  • Валидация на двух проанализированных случаях показала, что шлюз сработал с R примерно 1.0 в обоих случаях, что привело к отказу от внешних циклов.
  • В одном случае сопутствующее факториальное разложение локализовало видимый выигрыш в изменении статического субстрата, показав, что эволюционный жизненный цикл не дал обнаруживаемого выигрыша.
  • На одном проекте шлюз стоил около 50-70 GPU-часов и отфильтровал оценочные 400+ GPU-часов плюс недели реализации, что дало экономию в 6-8 раз.

Правило является прогностически фальсифицируемым, поскольку задача с R менее 90%, где внешний цикл не превосходит однократное применение, опровергла бы его.