github llama.cpp · 1시간 전 · inference

llama.cpp b10242가 페널티용 CUDA 백엔드 샘플러 추가

번역 English → 한국어

llama.cpp 프로젝트는 페널리 처리를 GPU로 오프로드할 수 있는 새로운 백엔드 샘플러를 도입한 버전 b10242를 출시했습니다. 이 변경은 `common_sampler_init` 함수를 강화하고, 주파수 및 존재도 조정을 백엔드에서 가능하도록 하기 위해 `llama_sampler_penalties` 구조체가 `llama_sampler_backend`에서 상속받도록 업데이트합니다.

구현에는 백엔드 초기화 로직, 페널리 적용, 그리고 백엔드 샘플링에서의 top-k 페널리 지원이 포함됩니다.
샘플링 중 NaN 생성을 방지하기 위해 마스킹된 로짓을 -Inf로 보존함으로써 수치적 안정성이 개선되었습니다.
검증은 반복 페널리 값이 유한하고 0보다 크다는 것을 보장하며, 잘못된 매개변수에 대한 테스트가 추가되었습니다.
이번 릴리스는 macOS(Apple Silicon 및 Intel), Linux(CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows(CPU, CUDA 12/13, Vulkan, OpenCL, HIP, OpenVINO, SYCL), 그리고 openEuler 아키텍처용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

관련 기사

github llama.cpp · 3시간 전 · 조회수 1회

llama.cpp b10241이 CUDA block_reduce의 SMEM 데이터 레이스를 수정함

llama.cpp 프로젝트는 CUDA 백엔드의 치명적인 버그를 해결한 버전 b10241을 출시했습니다. 이 업데이트는 블록 리덕션 동안 공유 메모리(SMEM)를 재사용할 때 발생하는 데이터 레이스 문제를 해결합니다.

media Hugging Face Forums · 6시간 전 · 조회수 1회

Quesma, LLM 토큰 비용 효율성을 위한 218개 도구 및 논문 선별 지도 발표

Quesma는 LLM 및 에이전트 워크플로우에서 토큰이 어디에 사용되는지 추적하는 218개의 항목이 포함된 오픈 큐레이션 목록을 출시했습니다. 이 리소스는 모니터링, 시맨틱 캐싱, 저렴한 로컬 모델, 컨텍스트 엔지니어링 및 비용 거버넌스를 다룹니다.

github llama.cpp · 9시간 전

llama.cpp b10238이 Qwen3-Next에 대한 MTP 지원을 추가했습니다

llama.cpp 프로젝트는 Qwen3-Next 모델 계열에 대한 Multi-Token Prediction (MTP) 지원을 도입한 빌드 b10238을 출시했습니다. 이 업데이트에는 MTP 레이어를 처리하기 위한 특정 구현 변경 사항과 코드베이스 내 Python 타입 체크와 관련된 수정 사항이 포함되어 있습니다.

github llama.cpp · 10시간 전 · 조회수 3회

llama.cpp b10237, DeepSeek V3.2용 MTP 지원 추가

llama.cpp 프로젝트가 빌드 b10237을 출시하여 DeepSeek V3.2 모델에 대한 멀티 토큰 예측(MTP) 지원을 도입했습니다.

media Hugging Face Forums · 12시간 전 · 조회수 2회

Qxern-v6는 잠재 토큰과 AST 사이카를 사용하여 더 빠르고 정확한 코드 전송을 실현

Qxern-v6 시스템은 적응형 결정론적 추상 구문 트리(AST) 사이카를 통해 정확한 심볼 정확성을 유지하면서 32개의 압축된 잠재 토큰을 통해 두 개의 LLM이 통신할 수 있도록 합니다. 15세 개발자가 구축한 이 아키텍처는 코드를 압축하기 위해 Qwen2.5-Coder-1.5B를 사용하고, 원시 텍스트를 보지 않고 이를 해석하기 위해 동결된 Qwen3.5-0.8B 디코더를 사용합니다.