llama.cpp 프로젝트는 DeepSeek V3.2 및 V4 모델에서 사용되는 라이트닝 인덱서를 구현하기 위해 ggml에 새로운 `GGML_OP_LIGHTNING_INDEXER` 연산을 도입했습니다.

  • 구현은 연산자에서 스케일 매개변수를 제거하고 f16 마스크 매개변수를 추가합니다.
  • 라이트닝 인덱서 마스크 브로드캐스팅 수정과 입력 텐서가 전치되지 않았는지 확인하는 내용이 포함됩니다.
  • 새로운 연산을 검증하기 위한 테스트가 추가되었으며, 대역폭 대신 FLOPs를 계산합니다.
  • `llama` 컴포넌트는 이제 DeepSeek V3.2 및 DeepSeek V4 모델에 이 새로운 연산자를 활용합니다.

이 업데이트는 llama.cpp 프레임워크 내에서 DeepSeek의 최신 아키텍처에 대한 효율적인 추론 지원을 가능하게 합니다.