研究人员展示了Handoff-H1,这是一个vision-agent系统,旨在通过结合计算机视觉模型、使用工具的代理以及分层项目基础,自动从建筑蓝图中进行材料数量提取。

  • 该系统集成了用于基本元素提取的专用CV模型、具有图像操作能力的代理以及基于知识库的项目结构。
  • 在Construction Blueprint Takeoff Benchmark上的评估使用了包含2,009个已验证条目的10套住宅蓝图集。
  • Handoff-H1达到了81.6%的综合得分,比前沿代理高出约20分,比得分为77.6%的独立估算员表现更好。
  • 评估工具通过open harbor框架公开提供,蓝图集可供研究使用。

该系统表明,协调vision模型和代理可以实现接近人类的数量精度,并优于专业估算员的覆盖范围。