github llama.cpp · 2시간 전 · inference

llama.cpp b10813이 Adreno xmem SDPA 경로를 추가하고 수치 오류를 수정함

번역 English → 한국어

llama.cpp 프로젝트는 xmem SDPA(Scaled Dot-Product Attention) 경로를 사용하여 Adreno GPU용 OpenCL 구현을 도입한 빌드 b10813을 출시했습니다. 이 업데이트는 GQA 및 마스크된 주의 메커니즘의 수치 오류도 해결합니다.

OpenCL 가속을 위한 Adreno xmem SDPA 경로 추가.
Adreno 전용 큐 프로파일링 재정의 제거.
GQA 및 마스크된 주의의 수치 오류 수정.
기능을 제어하기 위한 GGML_OPENCL_XMEM_SDPA 환경 변수 도입.

릴리스에서는 CPU, GPU 및 전문 하드웨어 백엔드를 위해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10814이 OpenCL 요소별 연산 및 데이터 이동 범위를 확장

llama.cpp b10814 릴리스는 아홉 가지 새로운 요소별 단항 연산을 추가하고 데이터 이동 커널을 개선하여 OpenCL 백엔드 지원을 확대합니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp b10816이 M3 fa-vec 튜닝과 새 바이너리 추가

llama.cpp 프로젝트가 Apple Silicon 장치용 Metal 백엔드 업데이트를 포함한 버전 b10816을 출시했습니다. 이번 릴리스는 M3 칩 아키텍처에 대한 나머지 fast-vector 튜닝 추가에 중점을 둡니다.

github llama.cpp · 2시간 전 · 조회수 1회

llama.cpp 0.4.0이 Qwen3.8-Flash-Next 및 Nemotron-3-Puzzle 지원을 추가합니다

llama.cpp 버전 0.4.0은 Qwen3.8-Flash-Next 및 NVIDIA Nemotron-3-Puzzle-75B-A9B 모델에 대한 초기 아키텍처 지원을 도입하고, 기반 ggml 라이브러리를 버전 0.23.0으로 업그레이드했습니다.

github llama.cpp · 8시간 전 · 조회수 1회

llama.cpp b10798 빌드 정보 출력 스트림을 구성 가능하게 만듦

llama.cpp 프로젝트는 버전 b10798을 출시하며 빌드 정보 출력 스트림을 구성 가능하게 만드는 변경 사항을 도입했습니다. 이 업데이트를 통해 `llama_print_build_info`는 stderr를 하드코딩하는 대신 호출자가 제공한 FILE*에 쓸 수 있게 됩니다.

github llama.cpp · 16시간 전 · 조회수 1회

llama.cpp b10796이 Nemotron-3-Puzzle 로딩을 수정하기 위해 n_expert_used_max 추가

llama.cpp 프로젝트는 레이어당 전문가 수가 다른 모델을 지원하기 위해 모델 로더에 변경 사항을 포함하는 빌드 b10796을 출시했습니다.