Artikel tersebut berargumen bahwa varians intra-kelas dalam representasi model bahasa bukanlah keruntuhan saraf yang tidak lengkap, melainkan penyimpanan informasi yang dialokasikan yang diatur oleh hukum tertentu. Artikel ini menunjukkan bahwa struktur makro-kategori hanya menjelaskan 4-12% dari varians representasi, sementara konteks tingkat token membawa 79-91%, dengan rasio yang stabil di seluruh rentang parameter 100x.

  • Identitas pemusatan membatalkan klaim bingkai ketat ekuangular simpleks mengenai struktur representasi.
  • Peluruhan bobot tingkat token mengurangi prediksi token berikutnya menjadi masalah K-kelas yang tidak seimbang di mana norma kategori diurutkan berdasarkan jumlah tipe.
  • Dispersi intra-kategori dipaksa untuk sebanding dengan informasi mutual bersyarat I(token; context | category).
  • Dispersi identitas melacak informasi ini di setiap model dan partisi yang diuji, dengan informasi dari satu model memprediksi dispersi model lain.

Temuan tersebut menunjukkan bahwa informasi yang dibawa oleh kategori tidak pernah hilang selama pra-pelatihan, meskipun bagian relatifnya melebihi, menurun, dan sebagian pulih.