Les chercheurs présentent MatBind, un cadre d'apprentissage contrastif qui intègre des données hétérogènes sur les matériaux—structures cristallines, diffraction des rayons X en poudre simulée (pXRD), densité d'états (DOS) et langage naturel—dans un espace d'intégration unifié. En utilisant la structure cristalline comme ancre physique centrale, le modèle aligne ces modalités pour permettre une récupération multimodale à zéro échantillon émergente.
- Le cadre induit un alignement entre des modalités jamais explicitement appariées pendant l'entraînement.
- Les performances de récupération s'améliorent systématiquement lorsque plusieurs modalités sont combinées au moment de la requête.
- L'espace d'intégration appris organise les matériaux selon des propriétés physiquement significatives sans supervision explicite.
Traiter les données hétérogènes sur les matériaux comme des projections complémentaires d'une seule réalité physique permet une interrogation et une analyse multimodales plus efficaces.