github llama.cpp · 2시간 전 · inference

llama.cpp b11156이 BailingMoeV3를 통해 Ling 3.0 VL 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 Ling 3.0 VL 모델에 대한 지원을 도입한 빌드 b11156을 출시했습니다. 이 업데이트는 Ling 3.0 VL을 BailingMoeV3 아키텍처에 통합하고 mrope 섹션에서 BailingMoe3를 게이트할 때 공유 NORM rope 목록이 그대로 유지되도록 보장합니다.

BailingMoeV3 아키텍처와 통합하여 Ling 3.0 VL 모델 지원을 추가합니다.
BailingMoe3의 mrope 섹션 게팅 동안 공유 NORM rope 목록의 무결성을 유지합니다.
macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows 및 openEuler용 바이너리를 제공합니다.

이 릴리스를 통해 사용자는 다양한 하드웨어 플랫폼과 운영 체제에서 Ling 3.0 VL 모델을 실행할 수 있습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency Local inference

원문 보기

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.

github llama.cpp · 19시간 전 · 조회수 12회

llama.cpp b11136이 llama-server에 OpenAI video_url 지원 추가

llama.cpp 프로젝트는 비디오 입력을 위해 OpenAI 표준 "video_url" 콘텐츠 유형을 수락하도록 llama-server를 업데이트한 빌드 b11136을 출시했습니다. 이전에는 서버가 비표준 "input_video" 유형만 수락하고 데이터 URI를 거부하여 OpenAI 호환 클라이언트와의 호환성 문제를 발생시켰습니다.

github llama.cpp · 1일 전 · 조회수 12회

llama.cpp b11122, MMVQ GLU 융합 확장 및 새로운 SYCL 융합 추가

llama.cpp 프로젝트가 버전 b11122를 출시했으며, 여기에는 SYCL 백엔드에 대한 중요한 업데이트가 포함되어 있습니다. 이번 릴리스는 혼합 양자화 유형을 지원하도록 MMVQ GLU 융합을 확장하고 rms_norm+scale 및 ssm_conv+silu 연산에 대한 새로운 융합을 도입합니다.

github llama.cpp · 1일 전 · 조회수 15회

llama.cpp b11120, Vulkan 내부 심볼을 숨겨 상태 파괴 문제 해결

llama.cpp 프로젝트는 Vulkan 백엔드에서 내부 심볼을 숨김으로써 중대한 버그를 수정한 버전 b11120을 출시했습니다. 이 변경은 내부 심볼이 내보내질 때 발생하던 중복 dlopen 상태 파괴 문제를 방지합니다.

github llama.cpp · 1일 전 · 조회수 13회

llama.cpp b11118 HVX FA 마스크 처리를 위한 직접 매핑 DMA 캐시 도입

llama.cpp 프로젝트는 새로운 hex-dma 기능을 포함하는 빌드 b11118을 출시했으며, 이는 Hexagon Vector eXtended (HVX) FA 마스크 처리에 더 적합한 직접 매핑 DMA 캐시를 소개합니다.