github llama.cpp · 1시간 전 · inference

llama.cpp b10290이 오디오 그래프 실행을 수정하기 위해 ggml_build_forward_order 추가

번역 English → 한국어

llama.cpp 프로젝트는 ggml 라이브러리에 새로운 `ggml_build_forward_order` 함수를 도입하는 빌드 b10290을 출시했습니다. 이 변경은 mtmd 오디오 그래프의 버그를 해결하며, `ggml_build_forward_expand`를 순수한 순서 힌트로 사용할 때 선택되지 않은 분기가 stale 입력으로 실행되는 문제를 수정합니다.

이전 방법은 선택되지 않은 분기에서 계산을 강제하여 stale `inp_code0` 데이터로 인해 CPU에서 `get_rows` 경계 어설션 실패를 유발했습니다.
새로운 함수는 계산 플래그 없이 노드를 삽입하고, 분기가 실제로 선택될 때만 이를 복원합니다.
빌드 b10290은 macOS (Apple Silicon 및 Intel), Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리를 제공합니다.
iOS XCFramework와 독립형 UI 빌드도 릴리스에 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10289가 file_glob_search를 강화하고 Windows 경로 처리를 수정함

llama.cpp b10289 릴리스는 서버의 file_glob_search 디렉토리 순회를 강화하여 Windows 심볼릭 링크에서 무한 루프를 방지하고 읽을 수 없는 디렉토리에 대한 오류 보고를 개선했습니다.

media Hugging Face Forums · 6시간 전

QuantCheck, 4비트 양자화에 최종 체크포인트가 최선이라고 가정하지 말라고 경고

QuantCheck라는 새로운 도구는 사전 훈련의 최종 체크포인트가 4비트 양자화에 최적의 선택이 아닐 수 있음을 강조합니다. 벤치마크가 평탄하게 유지되는 동안 취약성이 증가할 수 있기 때문입니다. 저자는 Pythia-160m에서 이 패턴을 관찰했으며, 최종 체크포인트는 동일한 품질의 이전 체크포인트보다 약 4배 더 많은 품질 손상을 입었습니다.

github llama.cpp · 12시간 전

llama.cpp b10285, deepseek-ocr용 다중 행 배치 추가

llama.cpp 프로젝트는 mtmd 모듈에 deepseek-ocr 모델 전용으로 다중 행 배치를 지원하는 빌드 b10285를 출시했습니다. 이 업데이트는 시스템이 개별적으로 처리하는 대신 단일 작업으로 deepseek-ocr 행을 하나로 묶을 수 있게 합니다.

github llama.cpp · 13시간 전

llama.cpp b10282가 /metrics 엔드포인트에 spec-decode 카운터 추가

llama.cpp 프로젝트는 추론 디코딩을 위한 새로운 모니터링 기능을 도입한 버전 b10282를 출시했습니다. 서버는 이제 /metrics 엔드포인트에 spec-decode 카운터를 포함하여 사용자가 이 기능과 관련된 성능 메트릭을 추적할 수 있습니다.

github llama.cpp · 1일 전

llama.cpp b10275가 내장 도구에서 Windows OEM 출력을 UTF-8로 디코딩

llama.cpp 프로젝트는 빌드 b10275를 출시하여 악센트 문자가 조용히 손실되는 Windows의 문자 인코딩 문제를 수정했습니다. 이 업데이트는 OEM 코드 페이지로 작성하는 자식 프로세스에서 온 텍스트가 JSON 레이어에 도달하기 전에 UTF-8로 올바르게 디코딩되도록 보장합니다.