高校2年生のHanyu（Olivia）Yu氏は、cs.LGまたはcs.CVのarXiv推薦者を探しており、彼女の独立したプレプリント「AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers」をアップロードしようとしています。

論文では、自己注意行列から3つのスカラー信号（エントロピー、クロスヘッド分散、CLS類似度）を導入し、これらをルーティングの事前分布として使用しています。これは訓練中にゼロに減衰します。著者は、初期化時のルーティング多様性が早期の崩壊を防ぎ、セマンティック注意が訓練後の専門家の専門性を形成すると報告しています。この研究には3シード実験、4つのアブレーション条件、およびp > 0.05という非有意結果の正直な報告が含まれています。

arXivは、推薦者が過去5年以内にcs.*カテゴリに少なくとも3本の論文を投稿しており、そのうち少なくとも1本が3ヶ月以上前に投稿されていることを要求しています。