Автор разработал Epistemic Shield, экспериментальный фреймворк, который рассматривает первоначальный ответ LLM как предварительную гипотезу, а не окончательный вывод. Система разбивает ответы на атомарные утверждения и подвергает их состязательной самокритике для измерения согласованности в ходе стохастических оценок.
- Разбивает ответы на атомарные утверждения для детального анализа.
- Подвергает каждое утверждение состязательной самокритике.
- Измеряет согласованность по множеству стохастических оценок.
- Включает внешние доказательства при их наличии.
- Применяет асимметричные штрафы для неподтвержденных утверждений в высокорисковых областях.
- Позволяет частичный отказ от ответа, вместо того чтобы заставлять модель отвечать на всё.
Автор ищет техническую критику, предложения по бенчмаркам и соавторов для проверки того, улучшает ли эта архитектура калибровку или устойчивость к галлюцинациям.