한 사용자가 DeepSeek V4 Flash (DSV4) 실행 중 발생하는 충돌과 정지 문제를 해결하는 llama.cpp 수정 사항을 제출했습니다. 이 문제는 분기된 턴 동안 부적절한 시퀀스 제거로 인해 시스템이 델타만 아니라 수천 개의 토큰을 다시 프리필할 원인이 되었습니다.

  • 근본 원인은 DSV4가 부분적인 seq_rm을 수행하지 못해 체크포인트 복원이 이루어졌고, 미래의 SWA 셀이 purge되지 않은 것이었습니다.
  • 이 오류로 인해 768셀 SWA 창이 고갈되어 논리적 깊이 1250 토큰 근처에서 "Context size has been exceeded" 충돌이 발생했습니다.
  • 수정 사항은 분기된 접미사에 대한 적절한 seq_rm을 구현하여 델타만 다시 프리필되도록 합니다.
  • 작성자는 재현 및 테스트를 위해 이러한 문제를 해결한 포크된 브랜치를 제공합니다.

이 업데이트는 충돌과 정지 문제를 모두 제거하여 낮은 토큰 속도에서도 사용자 경험을 개선합니다.