Ханью (Оливия) Ю, ученица 10-го класса, ищет рецензента arXiv в категориях cs.LG или cs.CV для загрузки своей независимой препринта под названием "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

В статье вводятся три скалярных сигнала из матрицы самовнимания — энтропия, дисперсия между головами и CLS-подобие — в качестве маршрутизирующего приоритета, который аннигилирует до нуля во время обучения. Автор сообщает, что разнообразие маршрутизации при инициализации предотвращает раннюю коллапс, а семантическое внимание формирует специализацию экспертов после обучения. Работа включает эксперименты с 3 семенами, четыре условия абляции и честное сообщение о незначимом результате p > 0.05.

arXiv требует, чтобы рецензенты имели 3+ статьи в категориях cs.* за последние 5 лет, причем хотя бы одна из них старше 3 месяцев.