github llama.cpp · 3일 전 · inference

llama.cpp b10934가 JSON 스키마를 위해 common_schema 구현

번역 English → 한국어

llama.cpp 프로젝트는 JSON 스키마를 위한 `common_schema` 내부 표현의 구현을 도입한 빌드 b10934를 출시했습니다. 이 업데이트에는 `common_schema` 타입 생성과 스키마 해석을 더 효과적으로 처리하기 위한 JSON 스키마 옵티마이저가 포함됩니다.

`common_schema` 타입 및 타입/종류 해석 로직의 구현.
JSON 스키마 옵티마이저 도입 및 json-schema-to-grammar를 새 공통 스키마 구조를 사용하도록 리팩토링.
`common_schema_parse`를 `common_schema_from_json`으로, 빌더 메서드를 `parse_*`에서 `build_*`로 이름 변경.
빈 도구 매개변수, 빈 `$ref` 처리 및 `{}`가 `json_object`에 대해 모든 객체를 의미하도록 보장.
`(min|max)Length`를 문자열 타입을 암시하도록 복원하고 열거형을 `common_schema` 아래로 이동.

이 릴리스는 macOS(Apple Silicon 및 Intel), Linux(Ubuntu x64, arm64, s390x with CPU, Vulkan, ROCm, OpenVINO, SYCL), Windows(CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), Android 및 iOS XCFrameworks에 대한 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 1시간 전 · 조회수 1회 실시간

llama.cpp b10984, CUDA 행 연속 SUM_ROWS 지원 추가

llama.cpp 프로젝트는 버전 b10984를 출시하여 행 연속 SUM_ROWS 연산에 대한 CUDA 지원을 도입했습니다. 이 업데이트는 공유 커널을 통해 행 연속 텐서를 처리하기 위해 GGML_OP_MEAN을 포함하도록 코드를 정리합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10985은 RPC 해시 캐시를 가중치로 제한

llama.cpp 프로젝트는 빌드 b10985을 출시하여 해시 기반 캐싱을 가중치 텐서로만 제한하도록 RPC 백엔드를 수정했습니다. 이 변경은 활성화 데이터가 불필요하게 해시되고 저장되어 디스크 사용량이 과도해지는 문제를 해결합니다.

github llama.cpp · 3시간 전 · 조회수 4회

llama.cpp b10982가 DSV4/GLM에 대한 Vulkan 스파스 Flash Attention 지원을 추가함

llama.cpp 프로젝트는 Vulkan 백엔드를 통해 스파스 Flash Attention에 대한 지원을 도입한 빌드 b10982를 출시했습니다. 이 업데이트는 특히 DSV4 및 GLM 모델을 대상으로 하며, 호환되는 GPU 하드웨어에서 스파스 주의 메커니즘을 활용할 수 있도록 합니다.

github llama.cpp · 4시간 전 · 조회수 2회

llama.cpp b10981, Gemma-4의 상태 디코딩 수정 및 GPU MoE 추론 최적화

llama.cpp b10981 릴리스는 OpenVINO 백엔드의 상태 디코딩 경로에서 중요한 정확성 문제를 해결하며, 특히 레이어별 헤드 크기를 사용하는 Gemma-4와 같은 모델에 대한 지원을 수정합니다. 또한 GPU Mixture of Experts (MoE) 추론을 위한 최적화를 도입하고 KV 상태 재배치를 통해 성능을 개선합니다.

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp가 MiniCPM3의 HSK=96, HSV=64에 Metal FA 커널 추가

llama.cpp 프로젝트는 Apple Silicon에서 MiniCPM3가 사용하는 특정 구성에 대해 Flash Attention (FA) 커널 지원을 추가했습니다. 이 변경은 주의 키 길이 96 및 값 길이 64에 대한 누락된 커널 인스턴스화로 인해 `-fa auto` 플래그가 중단되는 충돌을 해결합니다.