Pesquisadores apresentam o Handoff-H1, um sistema vision-agent projetado para automatizar a contagem de quantidades de materiais a partir de plantas arquitetônicas, combinando modelos de visão computacional com agentes que utilizam ferramentas e uma fundação de projeto hierárquica.

  • O sistema integra modelos CV específicos para extração de primitivos, agentes com operações de imagem e uma estrutura de projeto fundamentada em base de conhecimento.
  • A avaliação no Construction Blueprint Takeoff Benchmark utiliza 10 conjuntos de plantas residenciais com 2.009 itens verificados.
  • Handoff-H1 alcança uma pontuação composta de 81,6%, superando agentes de ponta em cerca de 20 pontos e estimadores independentes que marcaram 77,6%.
  • O framework de avaliação é público por meio do framework open harbor, com conjuntos de plantas disponíveis para uso em pesquisa.

O sistema demonstra que orquestrar modelos vision e agentes pode alcançar precisão de quantidade próxima da humana e cobertura superior em comparação com estimadores profissionais.