В статье представлен ProLaViT (Progressive Latent Visual Thought) — фреймворк, который наделяет мультимодальные большие языковые модели способностью выполнять структурированное визуальное рассуждение в непрерывном латентном пространстве. В отличие от подходов, полагающихся на внешних экспертов, он использует эндогенный механизм самодистилляции, при котором собственная визуальная кодировщик модели контролирует латентные мысли.
- Используется масштабируемый программный конвейер синтеза для интернализации алгоритмической точности без инструментов во время вывода.
- Фреймворк разрабатывает две парадигмы рассуждения: грубо-к-тонкой причинно-следственной цепочки для пространственных задач и диалектической цепочки рассуждений для логических задач.
- Предлагается расстояние-взвешенная потеря разнообразия для наложения топологически осознанных ограничений и предотвращения деградации признаков.
Эксперименты демонстрируют, что ProLaViT превосходит базовые модели на визуальных бенчмарках, достигая превосходной точности и интерпретируемости при высокой эффективности.