llama.cpp 프로젝트는 DeepSeek-V4 모델을 올바르게 처리하기 위한 `llama-quantize` 도구에 대한 수정 사항을 포함하는 버전 b10067을 출시했습니다. 이 업데이트는 양자화기가 i32 토큰-투-엑스퍼트 인덱스 테이블인 `ffn_gate_tid2eid` 텐서를 float 유형으로 변환하려고 시도하는 것을 방지합니다.

  • 변환 실패를 피하기 위해 `ffn_gate_tid2eid` 라우팅 테이블을 양자화에서 제외합니다.
  • `ffn_gate_inp.weight`와 함께 이름 기반 제외 목록에 텐서를 추가합니다.
  • 이전에 DeepSeek-V4 모델에서 양자화가 실패했던 문제 #25754를 해결합니다.

이 변경으로 사용자는 integer-to-float 유형 변환과 관련된 오류 없이 DeepSeek-V4 모델을 성공적으로 양자화할 수 있습니다.