BIM-Edit представляет бенчмарк для оценки больших языковых моделей на редактировании с помощью естественного языка строительных информационных моделей в формате IFC. В нём содержится 324 задачи редактирования в 11 реальных и 36 синтетических строительных моделях, оценивающих геометрическую точность, семантическую корректность и топологическую согласованность. Наилучшая модель достигает среднего балла только 49,5%, при этом ни одна модель не решает более чем 3,4% задач, что подчёркивает существенный разрыв в способностях LLM для инженерных рабочих процессов.
BIM-Edit: Оценка LLM для редактирования BIM на основе IFC
Переведено с English → Русский