В данном исследовании показано, что нейронные сети могут надёжно обучаться динамике игры «Жизнь» Конвея с использованием минимальных архитектур за счёт применения специфических индуктивных смещений, а не полагаясь на масштабные процессы поиска. Авторы демонстрируют, что варианты сетей с альтернативными функциями активации значительно превосходят стандартные линейные блоки с пороговым значением (ReLU), особенно благодаря использованию полиномиальных функций активации второй степени.
- Переориентация задачи с поиска «выигрышных билетов» на задачу обучения позволяет минимальным сетям эффективно улавливать правила клеточных автоматов.
- Варианты сетей, использующие альтернативные функции активации, существенно превосходят стандартный выбор линейных блоков с пороговым значением (ReLU).
- Полиномиальная функция активации второй степени последовательно обучается динамике игры «Жизнь», независимо от того, обучаются ли веса нейронной сети или задаются жёстко.
Результаты ставят под сомнение предположение о том, что масштаб является основным фактором для решения сложных задач, и выступают за соответствие индуктивных смещений обучения решаемой задаче. Этот подход предлагает стратегию, полезную для машинного обучения в науке, глубокого обучения на основе физических моделей и интерпретируемого машинного обучения.