あるユーザーが、DeepSeek V4 Flash (DSV4) を実行する際に発生するクラッシュとストールを解決するllama.cppの修正パッチを投稿しました。この問題は、分岐したターンにおける不適切なシーケンス削除に起因し、システムがデルタのみではなく数千トークンを再プリフィルする原因となっていました。

  • 根本原因は、DSV4が部分的なseq_rmを実行できなかったことにより、チェックポイントの復元が行われ、未来のSWAセルがpurgeされなかったことです。
  • このエラーにより768セルのSWAウィンドウが枯渇し、論理深度1250トークン付近で「Context size has been exceeded」クラッシュを引き起こしました。
  • 修正パッチは分岐したサフィックスに対する適切なseq_rmを実装し、デルタのみが再プリフィルされるようにします。
  • 著者は、再現とテストのためのこれらの問題に対処したフォークされたブランチを提供しています。

このアップデートによりクラッシュとストールの両方が解消され、低いトークン速度でもユーザー体験が向上しました。