llama.cpp b9840 릴리스는 Pro 변형에 대한 특정 처리를 포함하여 DeepSeek V4 모델의 변환 지원을 도입합니다. 이 업데이트는 다양한 내부 최적화 및 버그 수정과 함께 새로운 아키텍처를 라이브러리에 통합합니다.
- dsv4 변환, llm_graph_input_dsv4 및 저장-로드 상태 기능 추가.
- 필요한 패딩 및 그래프 재사용 메커니즘과 함께 Flash Attention(FA) 활성화.
- 다중 시퀀스 처리 및 부분 체크포인트 기능 지원.
- CPU, GPU 및 ROCm, SYCL, OpenVINO와 같은 특수 가속기를 포함한 macOS, Linux, Android, Windows, openEuler용 바이너리 출시.
이 릴리스를 통해 사용자는 llama.cpp를 사용하여 다양한 하드웨어 구성에서 DeepSeek V4 모델을 로컬로 실행할 수 있습니다.