github llama.cpp · 1시간 전 · inference

llama.cpp b10328, Docker을 통한 서버 도구 격리 초기 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 Docker를 사용하여 서버 구성 요소 내에서 도구를 격리하는 초기 지원을 도입한 빌드 b10328을 출시했습니다. 이 업데이트에는 도구 I/O 샌드박스 분리와 관련 구성 플래그 이름 변경을 위한 문서 및 코드 적응이 포함되어 있습니다.

서버: Docker를 통한 초기 도구 격리 지원 추가 (PR #26507)
문서를 업데이트하고 get_info 기능 적응
Python 타입 체크 문제 수정
tools_io_sandbox와 tools_io_docker 분리
sandbox를 isolate로, x-tool-docker를 x-tool-runtime로 이름 변경

릴리스는 CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL 및 OpenCL을 포함한 다양한 하드웨어 백엔드에 대해 macOS, Linux, Windows, Android 및 iOS용 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

관련 기사

github llama.cpp · 방금 실시간

llama.cpp b10330, CUDA에서 rms_norm, mul, rope 융합

llama.cpp 프로젝트는 rms_norm, 곱셈, RoPE 연산을 단일 커널로 융합하는 CUDA 최적화를 도입한 버전 b10330을 출시했습니다. 이 변경에는 융합된 연산에 대한 메모리 범위 확인과 브로드캐스트 가중치를 위한 새로운 테스트 케이스가 포함됩니다.

github llama.cpp · 11시간 전 · 조회수 1회

llama.cpp b10327이 양자화된 복사 커널의 스레드/블록 수를 수정함

llama.cpp 프로젝트는 CUDA에서 양자화된 복사 커널 실행 시 스레드 및 블록 수에 대한 수정을 포함한 버전 b10327을 출시했습니다. 이 업데이트는 pull request #26731에서 식별된 문제를 해결합니다.

github llama.cpp · 23시간 전

llama.cpp b10313이 서버에 LRU 스케줄러 추가

llama.cpp 프로젝트는 서버 구성 요소에 Least Recently Used (LRU) 스케줄러를 도입한 버전 b10313을 출시했습니다. 이 업데이트에는 요청 병합 처리 및 스트리밍 사례에 대한 수정 사항이 포함됩니다.

github llama.cpp · 1일 전

llama.cpp b10312 릴리스: 바쁜 모델용 서버 수정 포함

llama.cpp 프로젝트가 서버 구성 요소에 특정 업데이트를 포함한 버전 b10312를 출시했습니다. 주요 변경 사항은 라우터에서 바쁜 모델이 제거되는 문제를 해결하는 것입니다.

github llama.cpp · 1일 전

llama.cpp b10307이 SYCL NVFP4 파싱 수정

llama.cpp 프로젝트는 NVFP4 양자화에 사용되는 UE4M3 스케일링 계수를 올바르게 파싱하기 위한 SYCL GPU 코드 수정을 포함한 버전 b10307을 출시했습니다.