Artikel ini berargumen bahwa varians intra-kelas dalam representasi model bahasa bukanlah collapse neural yang tidak lengkap, melainkan penyimpanan informasi yang dialokasikan yang diatur oleh hukum tertentu. Analisis terhadap 14 model menunjukkan bahwa struktur makro-kategori hanya menyumbang 4-12% dari varians representasi, sementara konteks tingkat token membawa 79-91%, tetap stabil di rentang parameter 100x.
- Peluruhan bobot tingkat token menghukum kategori berdasarkan jumlah jenis daripada massa kejadian, mengurangi prediksi token berikutnya menjadi masalah K-class yang tidak seimbang di mana norma kategori diurutkan berdasarkan jumlah jenis.
- Lantai konvers untuk kategori biner memaksa dispersi intra-kategori setidaknya berbanding lurus dengan informasi timbal balik bersyarat I(token; context | category).
- Dispersi identitas melacak informasi ini di setiap model dan partisi yang diuji, dengan informasi dari satu model memprediksi dispersi model lain di bawah estimasi bebas-model.
Para penulis menyimpulkan bahwa bagian kategori melebihi, meluruh, dan sebagian pulih selama pra-pelatihan karena informasi yang harus dibawanya tidak pernah meninggalkan representasi.