Sebuah resep kuantisasi khusus yang diterapkan pada model HuiHui yang di-ablasi menunjukkan kinerja yang lebih unggul dibandingkan varian vanilla 3.6-35B-a3b dalam tugas matematika dan pemrograman. Hasilnya menunjukkan bahwa penghapusan mekanisme penolakan memungkinkan model mencapai akurasi dan kebijaksanaan yang lebih besar dalam domain-domain ini.
- Kuantisasi khusus yang identik digunakan untuk kedua model HuiHui dan Vanilla 3.6-35B-a3b.
- Benchmark dilakukan menggunakan suite oMLX dalam mode instruksi tanpa rantai penalaran panjang.
- Model yang di-ablasi menunjukkan kinerja yang lebih baik pada benchmark matematika dan pemrograman meskipun ukuran sampelnya kecil.
Temuan tersebut mengindikasikan bahwa ablasi dapat meningkatkan kemampuan model di area teknis tertentu, dengan model HuiHui tersedia untuk diunduh melalui tautan Hugging Face yang disediakan.