Исследователи представляют MatBind, фреймворк контрастивного обучения, который интегрирует гетерогенные данные о материалах — кристаллические структуры, смоделированные порошковые рентгеновские дифракционные спектры (pXRD), плотность состояний (DOS) и естественный язык — в единое пространство эмбеддингов. Используя кристаллическую структуру в качестве центральной физической якорной точки, модель выравнивает эти модальности для обеспечения возникающего zero-shot кросс-модального поиска.

  • Фреймворк индуцирует выравнивание между модальностями, которые никогда не были явно спарены во время обучения.
  • Производительность поиска систематически улучшается при объединении нескольких модальностей в момент запроса.
  • Наученное пространство эмбеддингов организует материалы согласно физически значимым свойствам без явного обучения с учителем.

Рассмотрение гетерогенных данных о материалах как дополнительных проекций единой физической реальности позволяет осуществлять более эффективный кросс-модальный запрос и анализ.