Пользователь применяет аблиторацию с бипроекцией и сохранением нормы к модели Qwen3.6-35B-A3B, достигая уровня отказов 0% на отложенной тестовой выборке при сохранении результатов математических и кодовых бенчмарков.
Техника ортогонализирует строки весов относительно направления отказа и пересчитывает их норму L2 до исходного значения, предотвращая деградацию бенчмарков, вызванную обычной аблиторацией. Автор решает конкретные задачи в гибридной архитектуре Mixture of Experts, включая обработку смешанных слоев самовнимания и линейного внимания, а также применение проекций через einsum к 3D-тензорам экспертов.
Работа включает открытый обогащенный набор данных с вредоносными запросами, содержащий 7 356 промптов по 35 категориям, и предоставляет контрольные точки модели и код для воспроизведения результатов.