Hanyu (Olivia) Yu, seorang siswa SMA kelas 10, sedang mencari penjamin arXiv di cs.LG atau cs.CV untuk mengunggah prapublikasi independennya yang berjudul "AttnRoute-MoE: Attention-Prior Routing for Mixture-of-Experts Vision Transformers."

Makalah ini memperkenalkan tiga sinyal skalar dari matriks perhatian diri — entropi, varians antar kepala, dan kesamaan CLS — sebagai prior pengalihan yang meredup menjadi nol selama pelatihan. Penulis melaporkan bahwa keberagaman pengalihan pada inisialisasi mencegah keruntuhan awal, sementara perhatian semantik membentuk spesialisasi ahli setelah pelatihan. Pekerjaan ini mencakup eksperimen dengan 3 benih, empat kondisi ablasi, dan pelaporan jujur atas hasil yang tidak signifikan p > 0.05.

arXiv mensyaratkan penjamin telah mengirimkan 3+ makalah ke kategori cs.* dalam 5 tahun terakhir, dengan setidaknya satu yang lebih tua dari 3 bulan.