Авторы предлагают KARLA — метод, позволяющий большим языковым моделям автоматически извлекать фактические знания из внешней базы знаний во время генерации токенов. Этот подход позволяет обновлять факты без переобучения модели и обеспечивает прослеживаемость результатов до исходных данных.
- Основной механизм включает обучение модели генерации специальных токенов, которые инициируют запросы к базе знаний.
- Фактические изменения могут применяться через редактирование базы знаний, а не путем обновления параметров модели.
- Метод позволяет меньшим моделям достигать фактической точности, сопоставимой с большими моделями.
- Эксперименты демонстрируют улучшение фактического обоснования как при генерации коротких, так и длинных текстов.
Этот подход повышает прозрачность и объяснимость за счет прослеживаемости фактов к базе знаний, а также позволяет эффективно обновлять данные без необходимости дорогостоящего переобучения параметров.