github llama.cpp · 1시간 전 · inference

llama.cpp b10182, suppress_tokens 처리를 common/sampling으로 이동

번역 English → 한국어

llama.cpp 프로젝트는 토큰 억제 관리 방식에 대한 구조적 변경을 포함하는 빌드 b10182를 출시했습니다. 주요 수정 사항은 `suppress_tokens` 처리 로직을 `common/sampling` 모듈로 이동하는 것입니다.

코드베이스에서 `has_logit_bias` 기능이 제거되었습니다.
이 릴리스는 이전 구현과 관련된 보안 문제를 해결합니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, ROCm, OpenVINO, SYCL, HIP) 및 openEuler용 바이너리가 제공됩니다.

이 업데이트는 샘플링 로직을 통합하고 토큰 억제 메커니즘 내의 특정 보안 문제를 해결합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10180이 SYCL 단항 연산에 연속 빠른 경로 및 32비트 인덱스 산술 추가

llama.cpp 프로젝트는 SYCL 백엔드에 대한 성능 최적화를 도입한 빌드 b10180을 출시했습니다. 업데이트는 연속 빠른 경로를 구현하고 요소별 인덱스 산술을 32비트 정수와 함께 fastdiv를 사용하도록 전환합니다.

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10181은 공유 메모리가 48 KiB 미만인 장치에서 MMQ를 비활성화합니다

llama.cpp 프로젝트는 ggml-cuda의 수정 사항을 포함하는 빌드 b10181을 출시했습니다. 이 수정 사항은 블록당 공유 메모리가 48 KiB 미만인 GPU에서 행렬 곱셈 양자화(MMQ)를 비활성화합니다. 이전에는 MMQ 구성이 최소 48 KiB를 가정하여, 타일 크기가 사용 가능한 메모리를 초과하는 NVIDIA Pascal GPU 및 Moore Threads MTT S70과 같은 장치에서 치명적인 오류가 발생했습니다.

media Hugging Face Forums · 4시간 전

Jason Van Pham이 Gemma 4의 문자 수준 제약 하에서 다중 턴 탐욕적 붕괴를 문서화함

Jason Van Pham과 공동 엔지니어 Grok(xAI)는 커스텀 Gemma 4 지시 경로를 사용할 때 Hydrodynamic Swarm 하네스에서 발생하는 거의 기본값인 다중 턴 실패 모드를 상세히 설명하는 진단 보고서를 게시했습니다. 이 연구는 탐습적 디코딩과 긴 토큰 예산, 그리고 문자 수준 제약을 결합하면 반복과 철자법 혼란을 포함한 고전적인 텍스트 붕괴가 발생함을 확인했습니다.

media Hugging Face Forums · 5시간 전

Hugging Face, generate()에서 잘못된 출력을 방지하기 위해 DynamicCache 수정

Hugging Face의 `generate()` 함수에는 외부에서 구축된 `DynamicCache`가 사용될 때 잘못된 출력을 유발하는 버그가 있습니다. 이 문제는 프리필 데이터에서 캐시를 재구성하는 SnapKV, H2O, KIVI 등의 KV 캐시 압축 방법에 영향을 미칩니다. 근본 원인은 위치 컨텍스트 전파 실패로, Qwen3-VL-8B에서 정확도 10.7pp 손실을 초래합니다.

github llama.cpp · 6시간 전 · 조회수 1회

llama.cpp b10178이 슬롯 유사성 검사를 위한 추적 로깅을 추가합니다

llama.cpp 프로젝트는 서버 구성 요소 내에서 슬롯 유사성 검사를 위한 추적 로깅을 도입한 빌드 b10178을 출시했습니다. 이 업데이트는 프롬프트 캐시 슬롯 선택 중 `server-context.cpp`에 상세한 로깅을 추가하여 건너뛰기 이유와 유사성 계산 세부 정보를 구체적으로 캡처합니다.