Пользователь отправил исправление для llama.cpp, устраняющее сбои и зависания, возникающие при запуске DeepSeek V4 Flash (DSV4). Проблема заключалась в некорректном удалении последовательности во время расходящихся ходов, что приводило к повторному префиллингу тысяч токенов вместо только дельты.
- Корневая причина заключалась в неспособности DSV4 выполнять частичный seq_rm, что вынуждало восстанавливать контрольную точку, которая не удаляла будущие ячейки SWA.
- Эта ошибка истощала окно SWA из 768 ячеек, приводя к сбою «Context size has been exceeded» около логической глубины в 1250 токенов.
- Исправление реализует корректный seq_rm расходящегося суффикса, обеспечивая префиллинг только дельты.
- Автор предоставляет форкнутую ветку для устранения этих проблем с возможностью воспроизведения и тестирования.
Обновление устраняет как сбой, так и зависание, улучшая пользовательский опыт даже при более низких скоростях токенов.