事後誤差推定によるニューラルネットワークの深さ適応のための最適制御アプローチ

本研究は、事後誤差推定に基づきニューラルネットワークのアーキテクチャを深さ方向に適応させる新たなアプローチを示す。著者らは、ニューラルネットワークの学習を連続時間における最適制御問題として定式化し、近似誤差がネットワーク層にどのように分布するかを定量化する厳密な誤差推導を行う。

• 最大推定誤差が生じる位置に新しい層を挿入し、複雑な非線形変化を捉える。
• この枠組みでは、重みとバイアスを層間で変化する区間線形関数として扱う。
• 有限要素解析からの双重点み残差手法を用い、機能的誤差の計算可能な上界を導出する。
• 明示的な誤差境界により、総近似誤差が区間ごとの寄与に分解され、対象とした微調整が可能になる。
• この手法は、Navier-Stokes方程式の観測量からパラメータへの写像の学習を含む科学データセットで実証された。

数値結果は、このアプローチが汎化性能において既存のアーキテクチャ適応手法を一貫して上回ることを示している。