В данной статье исследуются проблемы верификации компетентностных вопросов (КВ) — процесса, при котором онтологии оцениваются на основе вопросов на естественном языке для обеспечения корректности моделирования. Авторы анализируют причины усложнения КВ и то, как ассистент на базе LLM может поддерживать пользователей в ходе этой оценки.
- В исследовании участвовали 19 человек, выполнявших верификацию КВ по 20 задачам с использованием ассистента на базе LLM.
- Двусмысленность и сложность КВ приводят к непоследовательным решениям в моделировании и результатам верификации.
- Для точного соответствия формальным конструктам онтологии требуется тщательный учет лингвистических нюансов.
Результаты демонстрируют необходимость доработки КВ перед публикацией, чтобы избежать двусмысленности или чрезмерной сложности на последующих этапах процесса инженерии онтологий.