github llama.cpp · 방금 · inference

llama.cpp b10587이 Vulkan 백엔드에 PAD_REFLECT_1D 추가

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드에 GGML_OP_PAD_REFLECT_1D 연산을 도입한 빌드 b10587을 출시했습니다. 이 업데이트는 필요한 GLSL 컴퓨트 셰이더를 구현하고 ggml-vulkan 모듈 내에서 SPIR-V 컴파일을 위해 등록합니다.

pad_reflect_1d.comp에서 PAD_REFLECT_1D 로직을 구현하고 등록을 위해 vulkan-shaders-gen.cpp를 업데이트했습니다.
새 연산을 위한 상수 처리, 파이프라인 생성, 디스패치 함수 및 디버그 검증을 처리하도록 ggml-vulkan.cpp를 업데이트했습니다.
Vulkan 1.4 및 Mesa 25.2.8이 탑재된 Intel Iris Xe에서 정확성을 검증했으며 모든 테스트 케이스를 통과했습니다.
다양한 텐서 형태에 대해 5.38 us/run에서 158.31 us/run까지의 실행 시간을 보여주는 성능 벤치마크를 제공했습니다.

이 릴리스는 Vulkan 가속 추론 작업에서 반사 패딩 사용을 가능하게 하며 macOS, Linux, Windows, Android 및 openEuler 플랫폼용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 5시간 전 · 조회수 1회

llama.cpp b10584가 서버 500 오류를 방지하기 위해 초안 컨텍스트 크기를 수정

llama.cpp 프로젝트는 빌드 b10584를 출시하여 초안 컨텍스트 크기가 대상 컨텍스트와 일치하지 않아 서버 요청이 500 오류로 실패하는 중대한 문제를 해결했습니다.

media Hugging Face Forums · 8시간 전 · 조회수 1회

Xyntetik Runner가 양자화된 GGUF 가중치를 통해 LoRA를 직접 학습

Joakimpalm-Zen이 Xyntetik Runner를 업데이트하여, 추론에 사용되는 동일한 양자화된 GGUF 가중치를 사용하여 LoRA 어댑터를 직접 학습하도록 했으며, 별도의 FP16 학습 복사본이나 런타임의 필요성을 제거했습니다.

github llama.cpp · 10시간 전 · 조회수 1회

llama.cpp b10581이 bailinmoe3에 대한 DSpark 지원을 추가합니다

llama.cpp 프로젝트는 bailinmoe3 모델을 활성화하기 위해 DSpark 백엔드에 대한 지원을 도입한 빌드 b10581을 출시했습니다.

github llama.cpp · 12시간 전 · 조회수 1회

ggml이 요소별 memcpy를 행 수준 memcpy로 교체하여 concat 연산을 최적화합니다

ggml 라이브러리는 요소별 메모리 복사 대신 행 수준 memcpy 작업을 사용하여 연결(concat) 연산을 최적화했습니다. 이 변경은 llama.cpp의 b10578 릴리스의 일부이며, 여기에는 다양한 플랫폼별 바이너리와 기본 계산 그래프의 업데이트가 포함되어 있습니다.

github llama.cpp · 13시간 전 · 조회수 1회

llama.cpp b10576이 SYCL를 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널 추가

llama.cpp 프로젝트는 SYCL 지원을 위해 Q2_K 재순서 MMVQ 및 ESIMD 커널을 다시 추가한 빌드 b10576을 출시했습니다. 이 변경은 이전에 이러한 특정 커널 구현을 제거했던 이전 커밋을 효과적으로 되돌립니다.