github llama.cpp · 1시간 전 · inference

llama.cpp b10639, Vulkan warptile 워프 크기 가정 수정

번역 English → 한국어

llama.cpp 프로젝트는 빌드 b10639를 출시했으며, 여기에는 이전에 워프타일이 워프 크기가 64 이하라고 가정했던 Vulkan 백엔드에 대한 수정이 포함되어 있습니다. 이 변경은 더 큰 워프로 인한 문제를 우회하기 위해 워프 크기를 제한합니다.

이번 릴리스에는 macOS (Apple Silicon 및 Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, OpenVINO, SYCL, ROCm) 및 openEuler용 바이너리가 제공됩니다. 또한 llama.cpp UI도 포함되어 있습니다.

이 업데이트는 64보다 큰 워프 크기를 사용하는 하드웨어 구성과의 호환성을 보장합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

관련 기사

media Hugging Face Forums · 8시간 전 · 조회수 1회

EdgeFirst이 20개 엣지 플랫폼에서 YOLO 모델 검증용 Rust 파이프라인 발표

EdgeFirst은 Hugging Face에 EdgeFirst Model Zoo를 게시했으며, 여기에는 20개의 서로 다른 엣지 플랫폼에서 검증된 YOLOv5, YOLOv8, YOLO11 및 YOLO26 모델이 포함되어 있습니다. 이 검증은 대상 하드웨어에서 직접 제로 복사 DMA 전처리, 모델 디코딩 및 후처리를 처리하는 단일 Rust 파이프라인에 의존합니다.

lab Hugging Face Blog · 1일 전 · 조회수 1회

Papers with Code가 하이브리드 논문 검색을 위해 Hugging Face 서비스를 활용

Papers with Code는 관련 AI 연구 논문을 찾는 데 도움이 되도록 키워드 및 의미 기반 검색을 결합한 하이브리드 검색 시스템을 구현했습니다. 이 아키텍처는 임베딩 파이프라인을 관리하고 저지연 쿼리를 처리하기 위해 Hugging Face Jobs, Storage Buckets, Inference Endpoints를 활용합니다.

github llama.cpp · 1일 전 · 조회수 21회

llama.cpp 0.3.0이 dots3-note 모델과 DeepSeek 4용 텐서 분할을 추가하다

llama.cpp 0.3.0은 새로운 DSA-ISWA KV 캐시 유형을 통해 dots3-note 다중모달 모델을 지원하고, GLM-4.5-Air에 대한 멀티 토큰 예측(MTP) 지원을 도입합니다. 이번 릴리스는 DeepSeek 4용 텐서 분할 기능을 추가하고 여러 시퀀스 롤백 문제를 수정했습니다.

github llama.cpp · 2일 전 · 조회수 4회

llama.cpp b10615 Metal용 per-device tuned flash-attn vec 추가

llama.cpp 프로젝트는 버전 b10615를 출시하며 Metal 백엔드를 위한 per-device tuned quantized (Q, NE) flash-attention 벡터 연산을 도입했습니다.

github llama.cpp · 2일 전 · 조회수 1회

llama.cpp b10614에 Metal 연산별 소스 분할 및 병렬 컴파일 추가

llama.cpp b10614 릴리스는 연산 소스를 분할하고 병렬 컴파일을 활성화하여 Metal 백엔드에 중요한 아키텍처 변경을 도입했습니다. 이 업데이트에는 여러 새로운 커널 구현과 추가 양자화 형식 지원도 포함되어 있습니다.