Seorang pengguna telah mengirimkan perbaikan untuk llama.cpp yang mengatasi crash dan stall yang terjadi saat menjalankan DeepSeek V4 Flash (DSV4). Masalah ini berasal dari penghapusan urutan yang tidak tepat selama giliran divergen, yang menyebabkan sistem melakukan re-prefill ribuan token alih-alih hanya delta.
- Penyebab utamanya adalah ketidakmampuan DSV4 untuk melakukan seq_rm parsial, memaksa pemulihan checkpoint yang gagal membersihkan sel SWA di masa depan.
- Kesalahan ini menguras jendela SWA 768-sel, menyebabkan crash "Context size has been exceeded" sekitar kedalaman logis 1250 token.
- Perbaikan tersebut mengimplementasikan seq_rm yang tepat pada suffix yang divergen, memastikan hanya delta yang di-re-prefill.
- Penulis menyediakan cabang forked yang menangani masalah ini untuk reproduksi dan pengujian.
Pembaruan ini menghilangkan crash dan stall, meningkatkan pengalaman pengguna bahkan pada kecepatan token yang lebih rendah.