github llama.cpp · 2시간 전 · inference

llama.cpp b10273이 샘플러 컨텍스트 길이를 해결하고 전체 컨텍스트 창을 제거

번역 English → 한국어

llama.cpp 프로젝트는 빌드 b10273을 출시하여 백엔드 샘플링 제약으로 인해 초기화 중에 히스토리 기반 샘플러가 올바른 컨텍스트 길이를 추론할 수 없었던 심각한 문제를 해결했습니다.

초기화 오류를 수정하기 위해 샘플러에 대해 ctx-len 대신 -1에서 1024로 해결합니다.
히스토리 기반 샘플러에 대해 공유 기본값 64를 설정하고 context_size 매개변수를 제거합니다.
CPU, GPU(CUDA, Vulkan, ROCm, SYCL) 및 OpenVINO 백엔드를 통해 macOS, Linux, Windows, Android 및 openEuler용 바이너리를 제공합니다.

이 업데이트는 완전한 llama_context가 아직 사용 가능하지 않은 초기 구축 단계 동안 안정적인 샘플러 동작을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10269는 로드 시 dflash wo_a 리쉐이프 문제를 수정함

llama.cpp 프로젝트가 모델 로딩 중 dflash wo_a 리쉐이프 문제를 해결한 빌드 b10269를 출시했습니다.

media Hugging Face Forums · 7시간 전

퓨즈드 Triton 커널을 탑재한 오픈소스 Decay-Gated O(N) 인과적 선형 어텐션

한 개발자가 이차적 MHA 병목 현상을 우회하기 위해 설계된 퓨즈드 Triton/CUDA 상태 누적 커널을 갖춘 Decay-Gated O(N) 인과적 선형 어텐션 아키텍처를 오픈소스로 공개했습니다.

github llama.cpp · 7시간 전

llama.cpp b10262, Vulkan 백엔드에 GATED_LINEAR_ATTN 추가

llama.cpp 프로젝트는 Vulkan 백엔드에서 GATED_LINEAR_ATTN 연산에 대한 지원을 도입한 빌드 b10262를 출시했습니다. 이 업데이트에는 Vulkan 연산에 대한 문서 업데이트도 포함되어 있으며 사용되지 않는 GLA spec constant가 제거되었습니다.

github llama.cpp · 10시간 전

llama.cpp b10259은 로드 중 텐서 재구성 허용

llama.cpp 프로젝트는 로드 과정에서 텐서의 재구성을 허용하는 기능을 도입한 빌드 b10259을 출시했습니다.

github llama.cpp · 16시간 전

llama.cpp b10256이 SYCL 비연속 연결 커널을 병렬화합니다

llama.cpp b10256 릴리스에는 SYCL 장치에 대한 비연속 연결 커널을 병렬화하기 위한 변경 사항이 포함되어 있습니다. 업데이트는 단일 레인 워크 그룹에서 `SYCL_CONCAT_BLOCK_SIZE`를 사용하는 워크 그룹으로 실행 기하학을 수정합니다.