github llama.cpp · 1시간 전 · inference

ggml-webgpu 리팩토링이 포함된 llama.cpp b10336 릴리스

번역 English → 한국어

llama.cpp 프로젝트는 여러 wgsl 파일의 리팩토링과 ggml-webgpu 구성 요소 내 flash_attn wgsl 의 단순화를 포함하는 버전 b10336 을 출시했습니다.

이 업데이트는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL 가 있는 Ubuntu), Android, Windows (CPU, OpenCL, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), openEuler 플랫폼용 바이너리를 제공합니다.

릴리스에는 사용자가 모델 추론 엔진과 상호 작용할 수 있는 표준 UI 빌드도 포함되어 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

vLLM Launcher가 로컬 LLM 추론을 위한 Windows 데스크톱 작업대 제공

WSL2를 통해 로컬 대규모 언어 모델 추론을 관리하도록 설계된 vLLM Launcher라는 새로운 프로젝트가 Windows 데스크톱 애플리케이션으로 출시되었습니다. 이 도구를 사용하면 단일 그래픽 인터페이스에서 vLLM, SGLang 및 llama.cpp를 포함한 여러 엔진 백엔드를 제어할 수 있습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10330, CUDA에서 rms_norm, mul, rope 융합

llama.cpp 프로젝트는 rms_norm, 곱셈, RoPE 연산을 단일 커널로 융합하는 CUDA 최적화를 도입한 버전 b10330을 출시했습니다. 이 변경에는 융합된 연산에 대한 메모리 범위 확인과 브로드캐스트 가중치를 위한 새로운 테스트 케이스가 포함됩니다.

github llama.cpp · 2일 전 · 조회수 6회

llama.cpp b10328, Docker을 통한 서버 도구 격리 초기 지원 추가

llama.cpp 프로젝트는 Docker를 사용하여 서버 구성 요소 내에서 도구를 격리하는 초기 지원을 도입한 빌드 b10328을 출시했습니다. 이 업데이트에는 도구 I/O 샌드박스 분리와 관련 구성 플래그 이름 변경을 위한 문서 및 코드 적응이 포함되어 있습니다.

github llama.cpp · 2일 전 · 조회수 5회

llama.cpp b10327이 양자화된 복사 커널의 스레드/블록 수를 수정함

llama.cpp 프로젝트는 CUDA에서 양자화된 복사 커널 실행 시 스레드 및 블록 수에 대한 수정을 포함한 버전 b10327을 출시했습니다. 이 업데이트는 pull request #26731에서 식별된 문제를 해결합니다.

github llama.cpp · 3일 전 · 조회수 7회

llama.cpp b10313이 서버에 LRU 스케줄러 추가

llama.cpp 프로젝트는 서버 구성 요소에 Least Recently Used (LRU) 스케줄러를 도입한 버전 b10313을 출시했습니다. 이 업데이트에는 요청 병합 처리 및 스트리밍 사례에 대한 수정 사항이 포함됩니다.