github llama.cpp · 1시간 전 · inference

llama.cpp b10632이 Mamba-2 프리필 최적화를 위해 청크화된 SSD MMA 추가

번역 English → 한국어

llama.cpp 프로젝트가 버전 b10632를 출시했으며, ggml-metal을 통해 Mamba-2 프리필에 대한 청크화된 SSD MMA 최적화를 도입했습니다.

Metal에서 멀티 토큰 프리필을 위한 WIP 청크화된 SSD SSM_SCAN 커널 추가.
순차적 테일과 결합된 MMA를 선호하여 스칼라 SSD 경로 제거.
순차적 커널 롤백 스냅샷을 위해 K 토큰 예약 및 MMA와 seq tail 간 동시성 재설정.
템플릿으로 ssm_scan 테일 특수화 및 명확성을 위해 상수 업데이트.

이 업데이트는 CPU, CUDA, ROCm, Vulkan, OpenVINO를 포함한 다양한 하드웨어 백엔드에서 macOS, iOS, Linux, Windows, Android, openEuler에 대한 바이너리를 제공합니다.

중요도 1/3 신뢰도 1/3 llama.cpp Inference efficiency

원문 보기

llama.cpp b10628에 Apple RDMA RPC 전송 지원 추가

llama.cpp 프로젝트는 원격 절차 호출(RPC) 전송 메커니즘으로 Apple RDMA 지원을 도입한 버전 b10628을 출시했습니다.

lab OpenAI News · 19시간 전 · 조회수 6회

OpenAI, 할라페뇨 칩이 최대 3.6배 낮은 지연 시간과 1.9배 높은 효율성을 제공한다고 보고

OpenAI는 자체 첫 번째 맞춤형 추론 칩인 할라페뇨의 초기 성능 결과를 발표했으며, 기존 상용 시스템 대비 속도와 전력 효율성에서 상당한 개선을 보였습니다. 회사는 새로운 아키텍처가 동시에 더 높은 처리량과 낮은 지연 시간을 가능하게 하여 현재 하드웨어에서 흔히 발생하는 트레이드오프를 해결한다고 밝혔습니다.

media r/LocalLLaMA · 21시간 전 · 조회수 1회

Quantization-Aware Healing: 완전 정밀 원본을 능가하는 압축된 4비트 모델

이 기사는 완전 정밀 원본보다 우수한 성능을 달성하는 압축된 4비트 모델을 생성하기 위한 Quantization-Aware Healing 방법을 소개합니다.

github llama.cpp · 21시간 전 · 조회수 1회

llama.cpp b10622, iOS/macOS에서 Metal OOM 크래시 수정

llama.cpp 프로젝트는 메모리 부족 크래시를 방지하기 위한 Metal 백엔드의 중요한 수정 사항을 포함한 빌드 b10622를 출시했습니다. 이 업데이트는 할당 실패로 인해 `ggml_metal_buffer_init`이 NULL을 반환할 때 이를 확인하지 않아 null 포인터 역참조 시 `EXC_BAD_ACCESS`를 통해 하드 크래시가 발생하는 문제를 해결합니다.

lab Hugging Face Blog · 21시간 전 · 조회수 1회

Papers with Code가 하이브리드 논문 검색을 위해 Hugging Face 서비스를 활용

Papers with Code는 관련 AI 연구 논문을 찾는 데 도움이 되도록 키워드 및 의미 기반 검색을 결합한 하이브리드 검색 시스템을 구현했습니다. 이 아키텍처는 임베딩 파이프라인을 관리하고 저지연 쿼리를 처리하기 위해 Hugging Face Jobs, Storage Buckets, Inference Endpoints를 활용합니다.