github llama.cpp · 1시간 전 · inference

llama.cpp b10235이 f32에 SILU_BACK op 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10235을 출시하여 f32 정밀도를 위한 새로운 SILU_BACK 연산을 도입했습니다. 이 업데이트에는 silu_back 연산자의 구현이 포함되며 ggml-metal-ops.cpp 파일에서 중복된 어설션이 제거되었습니다.

이번 릴리스에서는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리가 제공됩니다.

이 업데이트는 사용 가능한 백엔드 지원을 확장하고 llama.cpp 사용자를 위한 특정 연산 작업을 추가합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10232, Metal에서 DeepSeek V4 하이퍼커넥션 구현

llama.cpp 프로젝트는 Metal 백엔드를 통해 DeepSeek V4 하이퍼커넥션 지원을 도입한 빌드 b10232를 출시했습니다. 이 업데이트에는 GGML_OP_DSV4_HC_COMB, GGML_OP_DSV4_HC_PRE 및 GGML_OP_DSV4_HC_POST 연산의 구현이 추가되었습니다.

github llama.cpp · 3시간 전 · 조회수 3회

llama.cpp b10231이 DSpark 사이드카 지원 추가

llama.cpp 프로젝트가 빌드 b10231을 출시하여 DSpark 추측 디코딩 사이드카에 대한 지원을 도입했습니다. 이 업데이트는 dspark 파일을 다른 추측 사이드카와 유사하게 해결할 수 있게 하며, -hfd 태그가 적용되고 추가 Markov head로 인해 자동 선택 시 dflash보다 dspark가 우선시됩니다.

github llama.cpp · 7시간 전

llama.cpp b10229이 OpenCL 프로파일링 데이터가 플러시되지 않는 문제 수정

llama.cpp 프로젝트는 OpenCL 백엔드에 대한 중요한 버그 수정을 포함한 버전 b10229를 출시했습니다. 이 업데이트는 프로그램 종료 중 프로파일링 데이터가 작성되지 않는 문제를 해결합니다.

media Hugging Face Forums · 22시간 전 · 조회수 6회

하르딕 쿠마르, 최대 4.66배 가격 차이를 보인 HF 추론 가격 행렬 게시

Hugging Face에 게시된 새로운 데이터셋은 모델 추론 제공업체를 위한 포괄적인 가격 행렬을 제공하며, 다른 공급업체 간 동일 모델의 상당한 비용 격차를 드러냅니다.

github llama.cpp · 1일 전 · 조회수 7회

llama.cpp b10219 채팅 기록에 reasoning_content 유지

llama.cpp 프로젝트는 채팅 기록 내에서 추론 콘텐츠를 유지하는 CLI 수정 사항을 포함한 버전 b10219를 출시했습니다. 이전에는 `llama-cli`가 스트림에서 추론을 수집하여 표시했지만 메시지에는 어시스턴트 콘텐츠만 저장되어 있어 `--reasoning-preserve` 플래그가 이후 턴에서 이전 생각을 다시 주입하지 못했습니다.