研究人员系统地将具有矩阵结构的优化器(包括 SOAP、Muon 以及混合模型 SOAP-Muon)与标准 Adam 优化器进行了对比,用于训练 NequIP 和 Allegro MLIP 模型。研究发现,这些新优化器在收敛速度和最终精度方面均大幅优于 Adam。
- SOAP 和 SOAP-Muon 展现出稳健的性能提升。
- Muon 相比 Adam 仅提供部分性能增益。
- 在部分力监督条件下,改进尤为显著。
结果表明,优化器的选择是机器学习原子间势设计中一个被忽视但影响深远的因素。
研究人员系统地将具有矩阵结构的优化器(包括 SOAP、Muon 以及混合模型 SOAP-Muon)与标准 Adam 优化器进行了对比,用于训练 NequIP 和 Allegro MLIP 模型。研究发现,这些新优化器在收敛速度和最终精度方面均大幅优于 Adam。
结果表明,优化器的选择是机器学习原子间势设计中一个被忽视但影响深远的因素。