Исследователи представляют языковые модели без знаний (KLLMs), парадигму обучения, которая анонимизирует именованные сущности во время предварительного обучения, чтобы отвлечь модели от параметрического воспроизведения фактов в сторону рассуждений, основанных на доказательствах.
- KLLMs предварительно обучаются на корпусах с анонимизированными именованными сущностями, устраняя фактический надзор, связанный с сущностями.
- Это вмешательство существенно снижает способность к воспроизведению фактов без внешних источников, одновременно улучшая производительность в задачах, где информация предоставляется в качестве контекста.
- На различных масштабах KLLMs превосходят базовые модели на бенчмарках контекстуального ответа на вопросы, проверки фактов и обнаружения галлюцинаций.
- В условиях, основанных на поиске с неидеальными доказательствами, KLLMs достигают относительного прироста до 20--25% по сравнению со стандартными языковыми моделями.
- Модели демонстрируют лучшую калибровку (улучшенные ECE, Brier score, AUROC) и более надежное поведение отказа от ответа.
Результаты показывают, что подавление надзора, связанного с сущностями, вызывает сдвиг в эпистемическом поведении, заставляя KLLMs меньше полагаться на параметрические знания и больше на внешние доказательства для повышения надежности.