github llama.cpp · 방금 · inference

llama.cpp b11138, 변수 앞에 단항 +/- 구문 분석

번역 English → 한국어

llama.cpp 프로젝트는 빌드 b11138을 출시하여 Jinja 템플릿 파서를 업데이트하고 변수 앞의 단항 더하기 및 빼기 연산자를 처리하도록 했습니다.

렉서 이제 -n 또는 +n과 같은 표현식에 대해 unary_operator 토큰을 생성하여 곱셈 우선 순위로 구문 분석할 수 있습니다.
이 변경으로 items[:-n] 및 GigaChat indent[:-indent_factor]와 같은 슬라이스의 올바른 평가가 가능해졌습니다.
단항 +/-는 기본 또는 후위 피연산자에만 결합하도록 제한되어 -n|abs가 -(n|abs)가 아닌 (-n)|abs로 평가됨을 보장합니다.
이번 릴리스에는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, CUDA 12/13, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows 및 openEuler용 바이너리가 포함되어 있습니다.

이 업데이트는 음수 인덱싱 또는 부호 있는 변수가 포함된 템플릿 로직이 llama.cpp의 Jinja 구현 내에서 올바르게 작동함을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 방금 실시간

llama.cpp b11140이 CUDA에서 dsv4 prefill에 sparse-fa를 활성화합니다

llama.cpp 프로젝트는 dsv4 prefill에 sparse-fa를 활성화하는 CUDA 최적화를 포함한 버전 b11140을 출시했습니다. 이 업데이트는 컴파일 타임 루프 언롤링을 허용하기 위해 커널을 템플릿화하여 flash attention 마스크 스캔 프로세스의 성능 문제를 해결합니다.

github llama.cpp · 2시간 전 · 조회수 12회

llama.cpp b11136이 llama-server에 OpenAI video_url 지원 추가

llama.cpp 프로젝트는 비디오 입력을 위해 OpenAI 표준 "video_url" 콘텐츠 유형을 수락하도록 llama-server를 업데이트한 빌드 b11136을 출시했습니다. 이전에는 서버가 비표준 "input_video" 유형만 수락하고 데이터 URI를 거부하여 OpenAI 호환 클라이언트와의 호환성 문제를 발생시켰습니다.

github llama.cpp · 3시간 전 · 조회수 11회

llama.cpp b11132, Gemma 4 DSpark 드래프트 백본 지원 추가

llama.cpp 프로젝트가 버전 b11132를 출시하며 Gemma 4 DSpark 드래프트 백본에 대한 지원을 도입했습니다. 이 업데이트는 전체 주의와 SWA Gemma 4 드래프트에 대한 GGUF 변환 및 런타임 기능을 활성화하며, 결합된 출력 가중치와 부울형 백본 메타데이터를 포함합니다.

github llama.cpp · 8시간 전 · 조회수 12회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 9시간 전 · 조회수 12회

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.