Исследователи NVIDIA представили Spatial-IQ — диагностическую систему, предназначенную для деконструкции пространственного интеллекта мультимодальных больших языковых моделей (MLLMs). В отличие от существующих бенчмарков, которые рассматривают модели как чёрные ящики, этот подход разбивает подсчёт объектов в стопках 3D-структур на девять перцептивных и когнитивных подзадач, согласованных с этапами человеческого развития.

  • Система использует NVIDIA Isaac Sim для процедурной генерации набора данных из примерно 80 000 стопочных 3D-структур с эталонными ответами для каждой подзадачи.
  • Оценка в форматах свободного текстового ответа, изображений с множественным выбором и редактирования изображений показывает, что модели с наивысшими результатами часто успешно справляются с целевыми задачами, но терпят неудачу на более низких уровнях подзадач, что указывает на использование кратчайших путей.
  • Исследование демонстрирует, что обучение с надзором цепочки рассуждений (chain-of-thought) по этим иерархическим подзадачам в сочетании с обучением с подкреплением по верифицируемым наградам значительно улучшает как пространственную согласованность, так и точность выполнения целевых задач.

Эта деконструкция служит как диагностическим инструментом для выявления конкретных режимов отказа, так и эффективным сигналом обучения для повышения надёжности пространственного мышления в MLLMs.