github llama.cpp · 1시간 전 · inference

llama.cpp b10427, SYCL FFN 연산 융합으로 최대 12.4% 처리량 향상

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10427을 출시했으며, 여기에는 SYCL을 통한 Intel Arc GPU용 성능 최적화가 포함되어 있습니다. 이 업데이트는 q4_K 밀도 순방향 네트워크(FFN) 레이어 내에서 gate, up 및 GLU 연산의 융합을 구현합니다.

llama-bench를 사용하여 Arc Pro B70에서 측정했을 때, qwen2.5-3B-Instruct의 처리량은 2.8% 증가했고 gemma-2-2b-it은 2.0% 증가했습니다.
qwen2.5-3B에 대한 배치 추론 벤치마크는 상당한 개선을 보였습니다: 배치 크기 1에서 +3.4%, B=2에서 +10.1%로 증가, B=4에서 +10.7%, B=8에서 +12.4%.

이 릴리스에서는 CPU, CUDA, Vulkan, ROCm 및 OpenVINO 백엔드에 대해 macOS, Linux, Windows, Android 및 openEuler용 사전 컴파일된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10413이 GGUF 메타데이터에서 초안 사양 유형 자동 감지 기능 추가

llama.cpp 프로젝트가 버전 b10413을 출시했으며, 이 버전은 초안 GGUF 모델 메타데이터에서 추론 사양 유형을 자동으로 감지하는 기능을 도입했습니다.

github llama.cpp · 18시간 전 · 조회수 1회

llama.cpp b10410이 gemm non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거

llama.cpp 프로젝트는 SYCL 백엔드에 대한 코드 변경을 포함하는 버전 b10410을 출시했습니다. 이 업데이트는 GEMM non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거하고 대신 자동 fp16 승격을 사용합니다.

github llama.cpp · 19시간 전 · 조회수 4회

llama.cpp b10408이 Q3_K ESIMD 커널을 추가하고 런타임으로 제어를 이동

llama.cpp 프로젝트는 Intel GPU용 DMMV Q3_K ESIMD 커널을 도입한 버전 b10408을 출시했습니다. 이 릴리스에는 새로운 Q4_K 및 Q6_K ESIMD 커널도 포함되어 있으며, ESIMD 제어를 컴파일 시점이 아닌 런타임에서 가능하도록 코드베이스를 리팩토링했습니다.

github llama.cpp · 3일 전 · 조회수 6회

llama.cpp b10353이 CUDA 및 Metal ROLL 커널의 침묵한 잘못된 결과를 수정

llama.cpp 프로젝트는 CUDA 및 Metal 백엔드에서 ggml_roll 연산에 대한 중요한 버그를 해결하는 빌드 b10353을 출시했습니다. 이전에는 이러한 백엔드가 스트라이드 정보를 무시했기 때문에 치환된(연속되지 않은) 소스 텐서가 침묵한 잘못된 결과를 생성했습니다.

github llama.cpp · 7일 전 · 조회수 8회

llama.cpp b10321은 부분 simdgroup 행 길이에 대한 NORM/RMS_NORM을 수정합니다

llama.cpp 프로젝트는 Metal에서 GGML_OP_NORM 및 GGML_OP_RMS_NORM 연산에 대한 중요한 수정 사항을 포함하는 버전 b10321을 출시했습니다. 이 업데이트는 스레드 그룹 크기가 부분 SIMD 그룹을 남기도록 설정되었을 때, 누락된 부분 합계로 인해 평균과 분산 계산이 잘못되는 문제를 해결합니다.