Sumber · Hugging Face Forums
media Hugging Face Forums · 1 hari lalu · 1 tayangan

ThetaMem mengusulkan pengangkatan kunci perkalian bertanda untuk memori urutan keadaan tetap

ThetaMem adalah studi awal satu-seed dari mixer rekuren yang memodifikasi keadaan rekuren melalui pengangkatan kunci Hadamard atau produk-luar bertanda yang dipelajari, bukan dengan menyempurnakan mekanisme gerbang. Penulis menyajikan hasil campuran pada benchmark sintetis dan secara eksplisit mencari kritik untuk mengidentifikasi eksperimen termurah yang dapat menyangkal pendekatan tersebut.

media Hugging Face Forums · 9 hari lalu · 3 tayangan

QuantCheck memperingatkan untuk tidak mengasumsikan checkpoint akhir adalah yang terbaik untuk kuantisasi 4-bit

Sebuah alat baru bernama QuantCheck menyoroti bahwa checkpoint akhir pra-pelatihan mungkin bukan pilihan optimal untuk kuantisasi 4-bit, karena benchmark dapat tetap datar sementara kerapuhan meningkat. Penulis mengamati pola ini pada Pythia-160m, di mana checkpoint akhir mengalami sekitar empat kali lebih banyak kerusakan kualitas dibandingkan checkpoint sebelumnya dengan kualitas yang sama.