Исследователи представляют Handoff-H1, систему vision-agent, предназначенную для автоматизации подсчета количества материалов по архитектурным чертежам путем объединения моделей компьютерного зрения с агентами, использующими инструменты, и иерархической проектной основой.

  • Система интегрирует специализированные CV-модели для извлечения примитивов, агентов с операциями над изображениями и структуру проекта, основанную на базе знаний.
  • Оценка на бенчмарке Construction Blueprint Takeoff Benchmark использует 10 наборов жилых чертежей с 2009 проверенными позициями.
  • Handoff-H1 достигает композитного балла 81,6%, превосходя передовые агенты примерно на 20 баллов и независимых оценщиков, набравших 77,6%.
  • Инструментарий оценки публично доступен через фреймворк open harbor, наборы чертежей доступны для исследовательского использования.

Система демонстрирует, что оркестровка vision-моделей и агентов может достигать точности подсчета количества, близкой к человеческой, и превосходного покрытия по сравнению с профессиональными оценщиками.