Un utilisateur a soumis une correction pour llama.cpp qui résout les plantages et blocages rencontrés lors de l'exécution de DeepSeek V4 Flash (DSV4). Le problème provenait d'une suppression incorrecte des séquences lors des tours divergents, ce qui obligeait le système à re-préremplir des milliers de tokens au lieu du seul delta.
- La cause racine était l'incapacité de DSV4 à effectuer un seq_rm partiel, forçant une restauration de checkpoint qui échouait à purger les cellules SWA futures.
- Cette erreur a épuisé la fenêtre SWA de 768 cellules, entraînant un plantage « Context size has been exceeded » autour de 1250 tokens de profondeur logique.
- La correction implémente un seq_rm approprié du suffixe divergé, garantissant que seul le delta est re-prérempli.
- L'auteur fournit une branche forkée adressant ces problèmes pour la reproduction et les tests.
La mise à jour supprime à la fois le plantage et le blocage, améliorant l'expérience utilisateur même à des vitesses de tokens plus faibles.