github llama.cpp · 방금 · inference

llama.cpp b10643에 멀티 NPU 지원 및 완전 비동기 Hexagon 백엔드 추가

번역 English → 한국어

llama.cpp 프로젝트는 버전 b10643을 출시하여 멀티 NPU 장치(IQ9, IQ10) 지원과 Hexagon 아키텍처용 완전 비동기 백엔드를 도입했습니다.

Hexagon 백엔드는 이제 기본적으로 호스트 외부 버퍼를 사용하며 완전한 비동기성을 구현합니다.
Snapdragon Android 플랫폼 34에 대한 지원이 추가되었습니다.
Q8_0 양자화는 인플레이스 디양자화기, DMA 파이프라인 및 행 연산에 대한 지원을 얻었습니다.
ALLREDUCE 연산은 융합된 커널과 개선된 DMA 효율성으로 최적화되었습니다.
동기화 토큰과 펜스 메커니즘이 비동기 분할 간 NPU 장치를 동기화하도록 강화되었습니다.

이러한 변경 사항으로 인해 멀티 NPU Snapdragon 하드웨어에서 병렬 장치 실행과 더 빠른 텐서 복사를 허용하여 효율적인 추론을 가능하게 합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Hardware & chips Inference efficiency

EdgeFirst이 20개 엣지 플랫폼에서 YOLO 모델 검증용 Rust 파이프라인 발표

EdgeFirst은 Hugging Face에 EdgeFirst Model Zoo를 게시했으며, 여기에는 20개의 서로 다른 엣지 플랫폼에서 검증된 YOLOv5, YOLOv8, YOLO11 및 YOLO26 모델이 포함되어 있습니다. 이 검증은 대상 하드웨어에서 직접 제로 복사 DMA 전처리, 모델 디코딩 및 후처리를 처리하는 단일 Rust 파이프라인에 의존합니다.

github llama.cpp · 1일 전 · 조회수 1회

llama.cpp b10628에 Apple RDMA RPC 전송 지원 추가

llama.cpp 프로젝트는 원격 절차 호출(RPC) 전송 메커니즘으로 Apple RDMA 지원을 도입한 버전 b10628을 출시했습니다.

lab OpenAI News · 2일 전 · 조회수 8회

OpenAI, 할라페뇨 칩이 최대 3.6배 낮은 지연 시간과 1.9배 높은 효율성을 제공한다고 보고

OpenAI는 자체 첫 번째 맞춤형 추론 칩인 할라페뇨의 초기 성능 결과를 발표했으며, 기존 상용 시스템 대비 속도와 전력 효율성에서 상당한 개선을 보였습니다. 회사는 새로운 아키텍처가 동시에 더 높은 처리량과 낮은 지연 시간을 가능하게 하여 현재 하드웨어에서 흔히 발생하는 트레이드오프를 해결한다고 밝혔습니다.

github llama.cpp · 6일 전 · 조회수 14회

llama.cpp b10534가 더 빠른 디코딩을 위해 하드웨어별 CUDA 전환 지점을 추가

llama.cpp 프로젝트는 양자화된 디코딩 시 CUDA에서 벡터와 텐서 코어 경로 간의 크로스오버를 조정하기 위한 하드웨어별 전환 지점을 도입한 빌드 b10534를 출시했습니다.

lab Hugging Face Blog · 9일 전 · 조회수 6회

제약 조건 인식 GPU 할당기가 FIFO 대비 활용도와 우선순위 가중 출력 개선

제약 조건 인식 GPU 할당기가 7가지 시나리오에서 FIFO 스케줄러와 벤치마킹되었으며, 동일한 하드웨어에서 GPU 활용도를 최대 33%p 높이고 우선순위 가중 출력을 최대 105% 개선했습니다. 이 시스템은 실시간 추론 수요를 정적 예약이 아닌 변동 곡선으로 처리하여, 연속 GPU 블록과 비선점성 같은 엄격한 제약을 준수하면서 저조기 동안 배치 유사 작업을 통해 용량을 채웁니다.