Para peneliti secara sistematis membandingkan optimizer berstruktur matriks, termasuk SOAP, Muon, dan hibrida SOAP-Muon, terhadap optimizer standar Adam untuk melatih model NequIP dan Allegro MLIP. Studi tersebut menemukan bahwa optimizer baru ini secara substansial mengungguli Adam dalam hal kecepatan konvergensi dan akurasi akhir.
- SOAP dan SOAP-Muon muncul sebagai metode yang robust dengan peningkatan kinerja yang konsisten.
- Muon hanya memberikan peningkatan parsial dibandingkan dengan Adam.
- Peningkatan tersebut sangat menonjol di bawah kondisi supervisi gaya parsial.
Hasil-hasil ini menunjukkan bahwa pilihan optimizer adalah sumbu desain yang terabaikan namun berdampak bagi potensial antaratom pembelajaran mesin.