Les chercheurs présentent Handoff-H1, un système vision-agent conçu pour automatiser les relevés de quantités de matériaux à partir de plans architecturaux en combinant des modèles de vision par ordinateur avec des agents utilisant des outils et une fondation de projet hiérarchique.

  • Le système intègre des modèles CV conçus spécifiquement pour l'extraction de primitives, des agents avec des opérations sur les images et une structure de projet ancrée dans une base de connaissances.
  • L'évaluation sur le Construction Blueprint Takeoff Benchmark utilise 10 ensembles de plans résidentiels avec 2 009 éléments vérifiés.
  • Handoff-H1 atteint un score composite de 81,6 %, surpassant les agents de pointe d'environ 20 points et les estimateurs indépendants qui ont obtenu 77,6 %.
  • Le harnais d'évaluation est public via le framework open harbor, avec des ensembles de plans disponibles pour la recherche.

Le système démontre que l'orchestration de modèles vision et d'agents peut atteindre une précision des quantités proche de celle des humains et une couverture supérieure par rapport aux estimateurs professionnels.