github llama.cpp · 1시간 전 · inference

llama.cpp b11377, Ling 3.0 파서에서 json_schema 존중

번역 English → 한국어

llama.cpp 프로젝트는 `json_schema` 제약을 적절히 처리하도록 Ling 3.0 채팅 파서를 업데이트한 빌드 b11377을 출시했습니다.

이전에는 Ling 3.0 구문이 도구 호출만 지원했으며 `response_format` 요청은 제약 없이 방치되었습니다. 이번 릴리스는 도구보다 우선순위가 높은 즉시 응답 형식 구문 경로를 추가합니다.

생각 모드가 활성화된 경우 JSON 출력 전에 `<think>` 블록이 필요하며, JSON 응답 이후의 나머지 텍스트를 방지하여 이슈 #29652를 해결했습니다.

이번 빌드에는 macOS(Apple Silicon 및 Intel), iOS, Linux(CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows(CPU, OpenCL, CUDA, Vulkan, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리가 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11375이 GGML_SCHED_NO_REALLOC 하에서 그래프 재할당 중단 문제를 수정

llama.cpp 프로젝트는 GGML_SCHED_NO_REALLOC 플래그가 설정되어 있을 때 중단되는 비연속 ubatch 셀로 인한 그래프 재할당을 해결하는 빌드 b11375을 출시했습니다.

github llama.cpp · 3시간 전 · 조회수 1회

ggml-openvino가 MoE 융합 및 장치 목록 수정 기능과 함께 2026.4.1로 업데이트됨

llama.cpp의 ggml-openvino 백엔드가 버전 2026.4.1로 업데이트되어 성능 최적화, 확장된 연산자 지원, 개선된 장치 열거 기능이 도입되었습니다.

github llama.cpp · 4시간 전 · 조회수 1회

llama.cpp b11372, qwen4exp 인덱서 메모리 절반으로 줄이고 CUDA 4-헤드 지원 추가

llama.cpp b11372 릴리스는 긴 컨텍스트 처리 중 인덱서 점수에 필요한 메모리를 주로 절반으로 줄이는 qwen4exp 모델의 라이트닝 인덱서에 대한 최적화를 도입합니다. 이는 각 헤드에 대해 별도의 텐서를 생성하는 대신 헤드 점수를 제자리에서 계산함으로써 달성됩니다.

github llama.cpp · 10시간 전 · 조회수 2회

llama.cpp b11370이 MMVQ에 공유 전문가를 융합

llama.cpp 프로젝트는 벡터 양자화(MMVQ)가 포함된 MoE 혼합 아키텍처에 공유 전문가를 융합하기 위한 CUDA 최적화를 포함하는 빌드 b11370을 출시했습니다. 이 변경은 풀 리퀘스트 #29184의 일부이며 stride_col_dst에 대한 버퍼 널 체크 및 인수 처리도 처리합니다.

github llama.cpp · 13시간 전 · 조회수 2회

llama.cpp b11368이 단순 드래프트 및 MTP에 대한 확률적 샘플링 추가

llama.cpp 프로젝트는 단순 드래프트 및 MTP(Multi-Token Prediction) 워크플로우를 위한 확률적 샘플링을 도입한 빌드 b11368을 출시했습니다. 이 업데이트는 거부 샘플링을 통해 대상을 검증하면서 확률적 선택을 사용하도록 드래프팅 메커니즘을 수정합니다.