Исследователи предлагают модульный конвейер для создания модели больших языковых моделей для рассуждений в области путешествий, основанной на экспертно разработанном графе знаний, чтобы решить проблемы точности и надежности в специализированных областях. Подход интегрирует граф знаний о путешествиях, процедуру построения снизу вверх для пар вопросов-ответов с несколькими шагами и контролируемое тонкое подгоняние (supervised fine-tuning) для внедрения предметных знаний в виде проверяемых цепочек рассуждений.
- Конвейер использует граф знаний о путешествиях, кодирующий сущности и отношения области, для генерации пар вопросов-ответов с несколькими шагами через процедуру построения снизу вверх.
- Контролируемое тонкое подгоняние применяется с использованием сгенерированных пар вопросов-ответов в качестве проверяемых цепочек рассуждений для улучшения способностей модели к рассуждениям.
- Оценка Qwen3-4B с адаптацией LoRA достигла точного совпадения 82,4% на бенчмарке в области путешествий, значительно превосходя предварительно обученную базовую модель с показателем 22,4%.
- Анализ калибровки выявил два режима отказа: чрезмерно уверенное декодирование с несколькими метками и сбои рассуждений, когда модель не может восстановить правильные многошаговые пути, несмотря на наличие подтверждающих фактов.
Эта работа подтверждает, что явное рассуждение, основанное на графах знаний, существенно улучшает точность и интерпретацию неопределенности в специализированных областях, выделяя калибровку по каждому варианту ответа и декодирование с учетом длины цепочки как ключевые области для будущих улучшений.