高二学生Hanyu(Olivia)Yu正在寻找cs.LG或cs.CV领域的arXiv推荐人,以上传她独立撰写的预印本《AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers》。
该论文从自注意力矩阵中引入了三个标量信号——熵、跨头方差和CLS相似度——作为路由先验,在训练过程中逐渐衰减至零。作者指出,初始化时的路由多样性可防止早期崩溃,而语义注意力则塑造了训练后专家的特化。研究包含3次种子实验、四种消融条件,并如实报告了一个不显著的结果p > 0.05。
arXiv要求推荐人在过去5年内向cs.*类别提交过至少3篇论文,且其中至少有一篇早于3个月。