github llama.cpp · 방금 · inference

llama.cpp b11140이 CUDA에서 dsv4 prefill에 sparse-fa를 활성화합니다

번역 English → 한국어

llama.cpp 프로젝트는 dsv4 prefill에 sparse-fa를 활성화하는 CUDA 최적화를 포함한 버전 b11140을 출시했습니다. 이 업데이트는 컴파일 타임 루프 언롤링을 허용하기 위해 커널을 템플릿화하여 flash attention 마스크 스캔 프로세스의 성능 문제를 해결합니다.

`flash_attn_mask_to_sparse_indices`의 쿼리 루프가 이제 컴파일 타임에 제한되어, 49k 열이 있는 스파스 디코드 형태에서 스캔 시간을 46마이크로초에서 17마이크로초로 줄였습니다.
스파스 마스크 스캔에 대한 아웃오브바운즈 체크가 호스트 코드로 이동되어, 49k 컨텍스트에서의 배치 스파스 연산 시간이 586마이크로초에서 244마이크로초로 감소했습니다.

이 릴리스는 CPU, GPU 및 NPU 백엔드를 위한 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11138, 변수 앞에 단항 +/- 구문 분석

llama.cpp 프로젝트는 빌드 b11138을 출시하여 Jinja 템플릿 파서를 업데이트하고 변수 앞의 단항 더하기 및 빼기 연산자를 처리하도록 했습니다.

github llama.cpp · 2시간 전 · 조회수 12회

llama.cpp b11136이 llama-server에 OpenAI video_url 지원 추가

llama.cpp 프로젝트는 비디오 입력을 위해 OpenAI 표준 "video_url" 콘텐츠 유형을 수락하도록 llama-server를 업데이트한 빌드 b11136을 출시했습니다. 이전에는 서버가 비표준 "input_video" 유형만 수락하고 데이터 URI를 거부하여 OpenAI 호환 클라이언트와의 호환성 문제를 발생시켰습니다.

github llama.cpp · 3시간 전 · 조회수 12회

llama.cpp b11132, Gemma 4 DSpark 드래프트 백본 지원 추가

llama.cpp 프로젝트가 버전 b11132를 출시하며 Gemma 4 DSpark 드래프트 백본에 대한 지원을 도입했습니다. 이 업데이트는 전체 주의와 SWA Gemma 4 드래프트에 대한 GGUF 변환 및 런타임 기능을 활성화하며, 결합된 출력 가중치와 부울형 백본 메타데이터를 포함합니다.

github llama.cpp · 8시간 전 · 조회수 12회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 10시간 전 · 조회수 12회

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.