Este estudio demuestra que las redes neuronales pueden aprender de manera confiable la dinámica del Juego de la Vida de Conway utilizando arquitecturas mínimas mediante el empleo de sesgos inductivos específicos en lugar de depender de procesos de búsqueda a gran escala. Los autores muestran que las variantes de red con funciones de activación alternativas superan significativamente a las Unidades Lineales Rectificadas estándar, particularmente a través del uso de activaciones polinomiales de segundo grado.
- Reorientar la tarea desde una búsqueda de 'boletos ganadores' hacia un problema de aprendizaje permite que las redes mínimas capturen eficazmente las reglas de los autómatas celulares.
- Las variantes de red que utilizan funciones de activación alternativas superan significativamente la elección predeterminada de Unidades Lineales Rectificadas (ReLU).
- Una función de activación polinomial de segundo grado aprende consistentemente la dinámica de la Vida, independientemente de si los pesos neuronales se aprenden o se codifican manualmente.
Los resultados desafían el supuesto de que la escala es el factor principal para resolver problemas complejos y abogan por ajustar los sesgos inductivos del aprendizaje a la tarea. Este enfoque ofrece una estrategia beneficiosa para el aprendizaje automático en ciencias, el aprendizaje profundo basado en física y el aprendizaje automático interpretable.