Компания Specific Labs выпустила Gemma-4-31B-AntiHal, вариант модели Gemma-4-31B, который оспаривает запросы, основанные на ложных предпосылках, вместо того чтобы галлюцинировать вместе с ними. Модель достигает этого за счет управления представлением на основе интерпретируемости, применяемого к остаточному потоку во время генерации.
- Техника добавляет направление разности средних значений в остаточный поток слоя 33, используя график затухания, который применяет полную силу для первых ~24 токенов перед постепенным уменьшением.
- На бенчмарке Anti-hallucination HalBench модель AntiHal показывает результат отклонения на 26% по сравнению с базовой моделью, что примерно вдвое превышает производительность.
- Производительность на бенчмарках остается в значительной степени неизменной: MATH-500 составляет 77%, а LiveCodeBench — 55%, что соответствует возможностям базовой модели.
- Подход был протестирован на Qwen 3.6 27B и Granite 4.1 30B, но только Gemma эффективно сопротивлялась управлению без нарушения связности или потери целостности.
Авторы позиционируют это как метод защиты моделей от искажения их знаний, а не как фильтр безопасности, предлагая контрольную точку с открытым исходным кодом, которую можно загрузить через библиотеку transformers.