Peneliti memperkenalkan koding requential, sebuah metode yang menghindari batasan kompresi berbasis parameter dengan mengodekan lintasan pelatihan melalui model guru yang memilih sampel dari distribusi siswa. Pendekatan ini hanya mencatat bit di mana guru dan siswa tidak setuju, menghasilkan panjang kode yang independen dari jumlah parameter dan entropi data.
- Metode ini sering menghasilkan kode yang beberapa orde lebih pendek daripada koding prequential, dengan keuntungan yang meningkat seiring bertambahnya skala.
- Model yang lebih besar dan ensemble memadatkan ke ukuran yang lebih kecil meskipun memiliki lebih banyak parameter ketika kerugian dijaga tetap.
- Disisipkan ke dalam batas PAC-Bayes, kode requential memberikan jaminan generalisasi terkini untuk LLM berparameter miliaran.
- Teknik ini mengisolasi informasi yang dapat dipelajari dari konten acak, mengungkapkan bahwa teks entropi rendah memegang lebih banyak struktur daripada data gambar entropi tinggi.
Metode kompresi ini menyediakan batas generalisasi yang lebih ketat dalam rezim optimal komputasi dan memprediksi overfitting bertahap selama pelatihan multi-epoch.