研究者らは、建築図面から材料数量を自動で抽出するために、コンピュータビジョンモデルとツールを使用するエージェント、階層的なプロジェクト基盤を組み合わせるために設計されたvision-agentシステムであるHandoff-H1を発表しました。

  • システムは、プリミティブ抽出用の専用CVモデル、画像操作を持つエージェント、およびナレッジベースに根ざしたプロジェクト構造を組み合わせています。
  • Construction Blueprint Takeoff Benchmarkでの評価には、2,009件の検証済みラインアイテムを含む10セットの住宅図面セットが使用されています。
  • Handoff-H1は81.6%の複合スコアを達成し、最先端のエージェントよりも約20ポイント、77.6%のスコアを獲得した独立した見積もり担当者よりも優れています。
  • 評価ハーネスはopen harborフレームワークを通じて公開されており、図面セットは研究目的で使用可能です。

このシステムは、visionモデルとエージェントをオーケストレーションすることで、プロの見積もり担当者と比較して人間に近い数量精度と優れたカバレッジを実現できることを示しています。