github llama.cpp · 2시간 전 · inference

llama.cpp b11157이 CUDA용 implicit GEMM과 함께 conv3d 추가

번역 English → 한국어

llama.cpp 프로젝트는 버전 b11157을 출시하여 CUDA에서 implicit GEMM을 사용한 3D 컨볼루션 연산에 대한 지원을 도입했습니다. 이 업데이트는 빈 커널을 처리하도록 구현을 정제했으며 macOS, Linux, Windows, Android 및 iOS를 포함한 광범위한 플랫폼에서 사용할 수 있습니다.

CUDA 백엔드를 위해 implicit GEMM과 함께 conv3d 추가.
빈 커널을 적절히 처리하기 위해 conv3d implicit GEMM 로직 정제.
Linux 및 Windows에서 CPU, Vulkan, ROCm, OpenVINO, SYCL, Snapdragon용 바이너리 제공.
macOS Apple Silicon (arm64), macOS Intel (x64) 및 iOS XCFramework용 빌드 포함.
CPU, Adreno GPU 및 Hexagon NPU 지원을 갖춘 Android arm64 빌드 제공.

이 릴리스는 NVIDIA GPU에서 3D 컨볼루션 연산을 활성화하여 라이브러리의 하드웨어 가속 기능을 확장했습니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b11156이 BailingMoeV3를 통해 Ling 3.0 VL 지원 추가

llama.cpp 프로젝트는 Ling 3.0 VL 모델에 대한 지원을 도입한 빌드 b11156을 출시했습니다. 이 업데이트는 Ling 3.0 VL을 BailingMoeV3 아키텍처에 통합하고 mrope 섹션에서 BailingMoe3를 게이트할 때 공유 NORM rope 목록이 그대로 유지되도록 보장합니다.

github llama.cpp · 12시간 전 · 조회수 3회

llama.cpp v0.5.0이 HRM-Text 지원, CUDA conv2d 가속 및 다중 주소 바인딩을 추가합니다

llama.cpp 프로젝트는 백엔드 성능, 광범위한 모델 커버리지, 그리고 더 견고한 서버 운영에 중점을 둔 버전 0.5.0을 출시했습니다. 이 업데이트는 HRM-Text (DFM Mimir 1B) 및 MiMo-V2.6과 같은 새로운 아키텍처에 대한 지원을 도입하고, CUDA 및 Metal 최적화를 통해 계산 효율성을 크게 향상시킵니다.

lab Microsoft Research Blog · 14시간 전 · 조회수 15회

마이크로소프트 리서치, 물리적 AI 추론 오프로딩이 로봇 성능과 배터리 수명을 향상시킨다

마이크로소프트 리서치는 물리적 AI 추론이 온보드 로봇 GPU에서만 실행되어야 한다는 가정에 도전하며, 엣지 또는 클라우드 인프라로의 오프로딩이 모바일 조작 워크로드를 크게 향상시킴을 입증했습니다. 그들의 로봇공학 워크로드에 대한 체계적인 연구는 온보드 컴퓨팅 의존성이 성능, 배터리 수명 및 확장성을 제한한다는 것을 보여줍니다.

github llama.cpp · 15시간 전 · 조회수 11회

llama.cpp b11147이 A8 Q6_K non-MoE dp4a OpenCL 커널 추가

llama.cpp 프로젝트는 버전 b11147을 출시했으며, 이는 OpenCL용 새로운 이진 커널을 도입합니다. 이 업데이트는 특히 A8 Q6_K non-MoE dp4a 구성에 대한 지원을 추가합니다.

github llama.cpp · 17시간 전 · 조회수 9회

llama.cpp b11140이 CUDA에서 dsv4 prefill에 sparse-fa를 활성화합니다

llama.cpp 프로젝트는 dsv4 prefill에 sparse-fa를 활성화하는 CUDA 최적화를 포함한 버전 b11140을 출시했습니다. 이 업데이트는 컴파일 타임 루프 언롤링을 허용하기 위해 커널을 템플릿화하여 flash attention 마스크 스캔 프로세스의 성능 문제를 해결합니다.