Исследование показало, что большие нормы MLM-голов в предобученных кодерах ухудшают производительность спартического поиска в SPLADE. Введение простого рескалинга MLM-головы на этапе инициализации стабилизирует обучение и улучшает производительность, достигая или превосходя BERT-SPLADE на нескольких бенчмарках.