고등학교 2학년 한유(올리비아) 유는 cs.LG 또는 cs.CV 분야의 arXiv 추천인을 찾고 있으며, 그녀의 독립적인 프리프린트 "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers"를 업로드하려고 합니다.
이 논문은 자기 주의 행렬에서 세 가지 스칼라 신호(엔트로피, 크로스 헤드 분산, CLS 유사도)를 도입하여 훈련 중에 0으로 감쇠하는 라우팅 사전으로 사용합니다. 저자는 초기화 시 라우팅 다양성이 조기 붕괴를 방지하고, 의미론적 주의가 훈련 후 전문가의 전문성을 형성한다고 보고합니다. 이 작업에는 3개의 시드 실험, 4가지 아블레이션 조건 및 p > 0.05의 비유의적인 결과에 대한 정직한 보고가 포함됩니다.
arXiv는 추천인이 지난 5년 이내에 cs.* 카테고리에 최소 3편의 논문을 제출했으며, 그 중 적어도 한 편은 3개월 이상 된 것을 요구합니다.