github llama.cpp · 1시간 전 · inference

llama.cpp b10307이 SYCL NVFP4 파싱 수정

번역 English → 한국어

llama.cpp 프로젝트는 NVFP4 양자화에 사용되는 UE4M3 스케일링 계수를 올바르게 파싱하기 위한 SYCL GPU 코드 수정을 포함한 버전 b10307을 출시했습니다.

이 업데이트는 NVFP4가 이러한 계수를 단일 UE4M3 바이트에 저장하므로 부호 있는 E4M3에서 부호 없는 스케일 값으로의 변환을 수정합니다.
macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL FP32/FP16), Android, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리가 제공됩니다.
일반적인 사용을 위한 UI 빌드도 제공됩니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 16시간 전

llama.cpp b10298이 mtmd 모듈에 청크 저장/로드 기능 추가

llama.cpp 프로젝트는 mtmd 모듈을 위한 새로운 청크 저장 및 로드 기능을 도입한 빌드 b10298을 출시했습니다. 이 업데이트에는 코드 정리와 추가 테스트도 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10282가 /metrics 엔드포인트에 spec-decode 카운터 추가

llama.cpp 프로젝트는 추론 디코딩을 위한 새로운 모니터링 기능을 도입한 버전 b10282를 출시했습니다. 서버는 이제 /metrics 엔드포인트에 spec-decode 카운터를 포함하여 사용자가 이 기능과 관련된 성능 메트릭을 추적할 수 있습니다.

github llama.cpp · 3일 전

llama.cpp b10259은 로드 중 텐서 재구성 허용

llama.cpp 프로젝트는 로드 과정에서 텐서의 재구성을 허용하는 기능을 도입한 빌드 b10259을 출시했습니다.

github llama.cpp · 3일 전 · 조회수 2회

llama.cpp b10254가 DeepSeek V4 Flash 0731 템플릿을 추가하고 V4 템플릿 업데이트

llama.cpp 프로젝트는 버전 b10254를 출시하며 DeepSeek V4 Flash 0731 모델용 새 채팅 템플릿을 도입하고 기존 DeepSeek V4 템플릿을 업데이트했습니다.

github llama.cpp · 3일 전

llama.cpp b10251, GLM-4.7-Flash에 MTP 지원 추가

llama.cpp 프로젝트는 GLM-4.7-Flash 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입한 빌드 b10251을 출시했습니다.