arxiv arXiv cs.LG · 52 д назад · research

OneCanvas: Понимание 3D-сцены через перепроекцию панорамы

Переведено с English → Русский

OneCanvas обеспечивает понимание 3D-сцены в моделях Вид-Язык путем агрегации признаков патчей на единую панорамную панель с использованием координат 3D-мира. Оно достигает лучших результатов на SQA3D и VSI-Bench, и обобщается на данные вне распределения на SPBench, используя значительно меньшее количество вычислений на обучении по сравнению с существующими методами.

Важность 3/3 Обходит бенчмарк топ-лаборатории Новая фича по сравнению с лидерами arXiv cs.LG Google DeepMind Allen AI Hugging Face Evaluation & benchmarks Multimodal Reasoning models

Оригинал

See-and-Reach: навигация на основе зрения и языка для БПЛА в поле зрения

UAV-VLN-FOV выделяет этап see-and-reach для точной оценки навигации БПЛА. 3DG-VLN улучшает визуальное обоснование и пространственное выравнивание с помощью динамических 3D-ориентиров, достигая улучшения показателя успешности на 13,82% по сравнению с базовыми методами, что подтверждено в реальных испытаниях.

arxiv arXiv cs.AI · 51 д назад

Скрытая эволюция скрытого визуального контекста в моделях с визуальным языком

Визуальные токены поступают в большие языковые модели в виде первичных, неструктурированных сигналов. Их внутреннее преобразование и интеграция зависят от архитектуры — либо как встроенные контекстные запросы, либо как вводимые в промежуточные слои — что приводит к различным путям эволюции визуальных представлений и характеристик частоты. Мы обнаруживаем, что внимание само по себе недостаточно; производительность определяется качеством визуальных представлений на каждом слое в различных схемах интеграции.

arxiv arXiv cs.CL · 47 д назад · 1 просмотр

Beaver: агент-интерфейс для научной кураторской работы из мультимодальных источников

Beaver — это агент-интерфейс, который извлекает структурированную информацию из научных статей за счёт интеграции инструментов мультимодальной поддержки, структурирования задач и автономного поиска на основе артефактов. Он достигает 81,0 по показателю Gold-Referenced Attribute Score, превосходя передовые агенты на более чем 23 балла, с ключевыми достижениями по высокозначимым атрибутам, требующим мультимодального мышления.

arxiv arXiv cs.CL · 51 д назад · 1 просмотр

H-RePlan: иерархическое восстановление для систем агентов на разных устройствах

H-RePlan вводит иерархическую систему перепланирования, которая разделяет восстановление стратегии на уровне устройства и перепланирование на глобальном уровне. Оно превосходит существующие базовые варианты, достигая более высокого уровня завершения и соблюдения инструкций, при снижении затрат на токены, за счёт восстановления с учётом области в системах агентов на нескольких устройствах.

arxiv arXiv cs.LG · 51 д назад

Протокол де-биасированного VLM как 3D-судьи для генерации мебели

Де-биасированный протокол судьи на основе VLM специализируется на генерации мебели, используя легкую адаптацию TRELLIS. Протокол решает режимы сбоев, такие как перегрузка изображений и скрытие геометрии, при калибровке показывает коэффициент побед 0,83–1,0 и базовую симметрию по сравнению с базой в 0,5. Среди шести методов адаптации, восстановление условного модуля при тяжелом деградации достигает равенства с базовой моделью, при этом ни один метод не превышает целевой выигрышной доли в 65%.