Пользователь отправил исправление для llama.cpp, устраняющее сбои и зависания, возникающие при запуске DeepSeek V4 Flash (DSV4). Проблема заключалась в некорректном удалении последовательности во время расходящихся ходов, что приводило к повторному префиллингу тысяч токенов вместо только дельты.

  • Корневая причина заключалась в неспособности DSV4 выполнять частичный seq_rm, что вынуждало восстанавливать контрольную точку, которая не удаляла будущие ячейки SWA.
  • Эта ошибка истощала окно SWA из 768 ячеек, приводя к сбою «Context size has been exceeded» около логической глубины в 1250 токенов.
  • Исправление реализует корректный seq_rm расходящегося суффикса, обеспечивая префиллинг только дельты.
  • Автор предоставляет форкнутую ветку для устранения этих проблем с возможностью воспроизведения и тестирования.

Обновление устраняет как сбой, так и зависание, улучшая пользовательский опыт даже при более низких скоростях токенов.