github llama.cpp · 3시간 전 · inference

llama.cpp b10076, int4 복사로 get_rows 벡터화하여 27% 속도 향상

번역 English → 한국어

llama.cpp 프로젝트는 CUDA 백엔드의 `get_rows` 작업을 int4 복사를 사용하여 벡터화하는 성능 최적화를 도입한 빌드 b10076을 출시했습니다. 이 변경은 요소별 루프에서 행 불변 작업을 끌어내고, 연속된 동일 타입 데이터에 대해 스레드당 16바이트를 복사하는 벡터화된 경로를 추가합니다.

구현은 컴파일 타임과 런타임에서 게이트되며, 정확성을 보장하기 위해 16바이트 정렬과 특정 스트라이드 조건이 필요합니다. 점유 게이트는 작은 단일 행 수집을 스칼라 경로에 유지하여 회귀를 방지합니다. Strix Halo (gfx1151) 에서 이 최적화는 DeltaNet 순환 상태 수집 지연 시간을 18.6us에서 13.0us로 줄였습니다.

이 릴리스에는 CPU, CUDA, ROCm, Vulkan, OpenVINO, SYCL 및 OpenCL 백엔드를 위한 macOS, Linux, Windows, Android 및 openEuler용 바이너리가 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

media Hugging Face Forums · 3일 전 · 조회수 2회

zhongkaifu가 GGUF 모델을 위한 네이티브 .NET LLM 추론 엔진인 TensorSharp를 출시

zhongkaifu는 Windows, macOS 및 Linux를 지원하며 C#으로 완전히 구축된 오픈소스 로컬 LLM 추론 엔진인 TensorSharp를 출시했습니다. 이 엔진은 Unsloth의 GGUF 모델을 처리하며, 멀티모달 기능을 갖춘 Gemma 4와 Qwen 3.6을 포함하고 OpenAI 및 Ollama와 호환되는 API를 제공합니다.

media Hugging Face Forums · 1일 전 · 조회수 1회

로컬 LLM을 사용한 프로덕션 음성 에이전트는 지속적인 지연 시간과 컨텍스트 제한에 직면

스페인에서 Retell AI, Ollama 및 RTX 4000 Ada의 로컬 모델을 사용하여 두 개의 프로덕션 음성 에이전트를 운영하는 팀은 대화 품질이 향상되었지만 핵심 지연 시간 문제가 해결되지 않았다고 보고합니다. 주요 제약 조건은 Retell AI의 약 3초 타임아웃입니다. LLM이 이 시간 내에 첫 번째 토큰을 생성하지 못하면 연결이 끊어지며, 두 번의 재연결 후 통화가 종료됩니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10069이 Adreno MUL_MAT에 대한 OpenCL 브로드캐스트 지원을 추가함

llama.cpp 프로젝트는 Qualcomm Adreno GPU에 대한 특정 OpenCL 업데이트를 포함한 빌드 b10069을 출시했습니다. 주요 변경 사항에는 Adreno MUL_MAT 커널에 대한 브로드캐스트 작업 지원과 llama-server에서 멀티스트림 기능을 활성화하기 위해 Q8_0 MUL_MAT 변형의 뷰 오프셋을 준수하는 것이 포함됩니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp b10068이 DFlash에 대해 주입된 K/V 캐시를 회전합니다

llama.cpp 프로젝트는 DFlash 모델 구현에 변경 사항을 도입한 버전 b10068을 출시했습니다. 이 업데이트는 src/models/dflash.cpp를 수정하여 K/V 양자화가 사용될 때 주입된 키/값 (K/V) 캐시를 회전합니다.

github llama.cpp · 3일 전 · 조회수 1회

llama.cpp b10067, DeepSeek-V4 라우팅 테이블을 양자화에서 제외

llama.cpp 프로젝트는 DeepSeek-V4 모델을 올바르게 처리하기 위한 `llama-quantize` 도구에 대한 수정 사항을 포함하는 버전 b10067을 출시했습니다. 이 업데이트는 양자화기가 i32 토큰-투-엑스퍼트 인덱스 테이블인 `ffn_gate_tid2eid` 텐서를 float 유형으로 변환하려고 시도하는 것을 방지합니다.