github llama.cpp · 8시간 전 · inference

llama.cpp b10655이 Vulkan에서 Deepseek V4 연산에 대한 LIGHTNING_INDEXER 지원을 추가함

번역 English → 한국어

llama.cpp 프로젝트는 Vulkan 백엔드 내에서 Deepseek V4 연산을 활성화하기 위해 LIGHTNING_INDEXer 연산에 대한 지원을 도입한 빌드 b10655을 출시했습니다.

Vulkan 백엔드에 LIGHTNING_INDEXer 연산을 추가함.
공유 메모리 트리에서 subgroupAdd로 128-레인 닷곱 축소를 이동하기 위해 lightning_indexer.comp 및 ggml-vulkan.cpp를 업데이트함.
경계 검사 건너뛰기 및 이전 FA_K_ONLY 수정 되돌리기 등의 정리 변경 사항 포함.
K/V 버퍼의 인터리브드 순서 복원 및 FA_K_ONLY 로직 제거.

이 업데이트는 Vulkan 사용자에게 새로운 LIGHTNING_INDEXER 구현을 사용하여 Deepseek V4 연산을 실행할 수 있는 기능을 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp가 Qwen3.8-Flash-Next (qwen4exp) 아키텍처 지원을 추가합니다

llama.cpp 프로젝트는 하이퍼 연결, 게이트드 델타 넷, 전문가 혼합(MoE), PLE n-gram 해시 임베딩을 포함한 특정 구성 요소를 구현하여 Qwen3.8-Flash-Next (qwen4exp) 모델 아키텍처에 대한 지원을 추가했습니다.

github llama.cpp · 8시간 전 · 조회수 3회

llama.cpp b10653 모델 로딩을 위해 TENSOR_READ_LAZY 추가

llama.cpp 프로젝트는 모델 로더에 TENSOR_READ_LAZY 기능을 도입한 빌드 b10653을 출시했습니다. 이 변경에는 TENSOR_GET_ROW_LAZY 함수의 추가와 해당하는 --tensor-read-lazy 명령줄 플래그가 포함됩니다.

github llama.cpp · 1일 전 · 조회수 6회

llama.cpp b10639, Vulkan warptile 워프 크기 가정 수정

llama.cpp 프로젝트는 빌드 b10639를 출시했으며, 여기에는 이전에 워프타일이 워프 크기가 64 이하라고 가정했던 Vulkan 백엔드에 대한 수정이 포함되어 있습니다. 이 변경은 더 큰 워프로 인한 문제를 우회하기 위해 워프 크기를 제한합니다.

media Hugging Face Forums · 1일 전 · 조회수 4회

EdgeFirst이 20개 엣지 플랫폼에서 YOLO 모델 검증용 Rust 파이프라인 발표

EdgeFirst은 Hugging Face에 EdgeFirst Model Zoo를 게시했으며, 여기에는 20개의 서로 다른 엣지 플랫폼에서 검증된 YOLOv5, YOLOv8, YOLO11 및 YOLO26 모델이 포함되어 있습니다. 이 검증은 대상 하드웨어에서 직접 제로 복사 DMA 전처리, 모델 디코딩 및 후처리를 처리하는 단일 Rust 파이프라인에 의존합니다.

lab Hugging Face Blog · 2일 전 · 조회수 1회

Papers with Code가 하이브리드 논문 검색을 위해 Hugging Face 서비스를 활용

Papers with Code는 관련 AI 연구 논문을 찾는 데 도움이 되도록 키워드 및 의미 기반 검색을 결합한 하이브리드 검색 시스템을 구현했습니다. 이 아키텍처는 임베딩 파이프라인을 관리하고 저지연 쿼리를 처리하기 위해 Hugging Face Jobs, Storage Buckets, Inference Endpoints를 활용합니다.