github llama.cpp · 1시간 전 · inference

llama.cpp b10509, Metal, CUDA, Vulkan에 ggml_rope_set_offset 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 여러 하드웨어 백엔드에서 `ggml_rope_set_offset` 함수에 대한 지원을 도입한 빌드 b10509를 출시했습니다. 이 업데이트에는 새로운 연산에 대한 CPU, Metal, CUDA 및 Vulkan 구현이 포함됩니다.

`ggml_rope_set_offset` 매개변수 및 CPU 커널 구현 추가.
새로운 rope 오프셋 기능에 대한 Metal 커널 지원 구현.
`supports_op` 가드를 제거하면서 `ggml_rope_set_offset`에 대한 CUDA 지원 활성화.
Linux와 Windows 모두에서 `ggml_rope_set_offset`에 대한 Vulkan 백엔드 지원 추가.
관련 연산에서 인플레이스 최적화 제거.

릴리스는 CPU, GPU 및 OpenVINO 및 SYCL과 같은 전용 가속기를 포함한 다양한 아키텍처를 위한 macOS, iOS, Linux, Android, Windows 및 openEuler용 사전 컴파일된 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

원문 보기

llama.cpp b10427, SYCL FFN 연산 융합으로 최대 12.4% 처리량 향상

llama.cpp 프로젝트가 버전 b10427을 출시했으며, 여기에는 SYCL을 통한 Intel Arc GPU용 성능 최적화가 포함되어 있습니다. 이 업데이트는 q4_K 밀도 순방향 네트워크(FFN) 레이어 내에서 gate, up 및 GLU 연산의 융합을 구현합니다.

github llama.cpp · 7일 전 · 조회수 23회

llama.cpp b10413이 GGUF 메타데이터에서 초안 사양 유형 자동 감지 기능 추가

llama.cpp 프로젝트가 버전 b10413을 출시했으며, 이 버전은 초안 GGUF 모델 메타데이터에서 추론 사양 유형을 자동으로 감지하는 기능을 도입했습니다.

github llama.cpp · 7일 전 · 조회수 26회

llama.cpp b10410이 gemm non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거

llama.cpp 프로젝트는 SYCL 백엔드에 대한 코드 변경을 포함하는 버전 b10410을 출시했습니다. 이 업데이트는 GEMM non-oneDNN 경로에서 별도의 fp32 타입 승격을 제거하고 대신 자동 fp16 승격을 사용합니다.

github llama.cpp · 7일 전 · 조회수 25회

llama.cpp b10408이 Q3_K ESIMD 커널을 추가하고 런타임으로 제어를 이동

llama.cpp 프로젝트는 Intel GPU용 DMMV Q3_K ESIMD 커널을 도입한 버전 b10408을 출시했습니다. 이 릴리스에는 새로운 Q4_K 및 Q6_K ESIMD 커널도 포함되어 있으며, ESIMD 제어를 컴파일 시점이 아닌 런타임에서 가능하도록 코드베이스를 리팩토링했습니다.

github llama.cpp · 9일 전 · 조회수 23회

llama.cpp b10353이 CUDA 및 Metal ROLL 커널의 침묵한 잘못된 결과를 수정

llama.cpp 프로젝트는 CUDA 및 Metal 백엔드에서 ggml_roll 연산에 대한 중요한 버그를 해결하는 빌드 b10353을 출시했습니다. 이전에는 이러한 백엔드가 스트라이드 정보를 무시했기 때문에 치환된(연속되지 않은) 소스 텐서가 침묵한 잘못된 결과를 생성했습니다.