研究者たちは、NequIPおよびAllegro MLIPモデルのトレーニングにおいて、SOAP、Muon、およびハイブリッドSOAP-Muonを含む行列構造オプティマイザーを、標準的なAdamオプティマイザーと体系的に比較した。その結果、これらの新しいオプティマイザーは収束速度と最終精度の両方でAdamを大幅に上回ることがわかった。

  • SOAPおよびSOAP-Muonは、一貫したパフォーマンス向上を示す堅牢な手法として浮上した。
  • MuonはAdamと比較して部分的な向上しか提供しなかった。
  • 改善は部分力監督の条件下で特に顕著であった。

これらの結果は、オプティマイザーの選択が機械学習原子間ポテンシャルにおいて見過ごされがちな一方で重要な設計軸であることを示している。