github llama.cpp · 2시간 전 · inference

llama.cpp b10628에 Apple RDMA RPC 전송 지원 추가

번역 English → 한국어

llama.cpp 프로젝트는 원격 절차 호출(RPC) 전송 메커니즘으로 Apple RDMA 지원을 도입한 버전 b10628을 출시했습니다.

Apple RDMA를 RPC 전송 옵션으로 추가.
CR별로 set_tensor 마이크로 최적화 및 RPC 소켓 고정 제거.
투명 재연결 기능 제거.
RPC 변경 시 Apple 빌드를 트리거하도록 CI 구성.
CPU, GPU 및 전용 하드웨어 백엔드에 대해 macOS, iOS, Linux, Windows, Android 및 openEuler용 바이너리 제공.

중요도 1/3 신뢰도 1/3 llama.cpp Hardware & chips Inference efficiency

OpenAI, 할라페뇨 칩이 최대 3.6배 낮은 지연 시간과 1.9배 높은 효율성을 제공한다고 보고

OpenAI는 자체 첫 번째 맞춤형 추론 칩인 할라페뇨의 초기 성능 결과를 발표했으며, 기존 상용 시스템 대비 속도와 전력 효율성에서 상당한 개선을 보였습니다. 회사는 새로운 아키텍처가 동시에 더 높은 처리량과 낮은 지연 시간을 가능하게 하여 현재 하드웨어에서 흔히 발생하는 트레이드오프를 해결한다고 밝혔습니다.

github llama.cpp · 5일 전 · 조회수 13회

llama.cpp b10534가 더 빠른 디코딩을 위해 하드웨어별 CUDA 전환 지점을 추가

llama.cpp 프로젝트는 양자화된 디코딩 시 CUDA에서 벡터와 텐서 코어 경로 간의 크로스오버를 조정하기 위한 하드웨어별 전환 지점을 도입한 빌드 b10534를 출시했습니다.

lab Hugging Face Blog · 8일 전 · 조회수 5회

제약 조건 인식 GPU 할당기가 FIFO 대비 활용도와 우선순위 가중 출력 개선

제약 조건 인식 GPU 할당기가 7가지 시나리오에서 FIFO 스케줄러와 벤치마킹되었으며, 동일한 하드웨어에서 GPU 활용도를 최대 33%p 높이고 우선순위 가중 출력을 최대 105% 개선했습니다. 이 시스템은 실시간 추론 수요를 정적 예약이 아닌 변동 곡선으로 처리하여, 연속 GPU 블록과 비선점성 같은 엄격한 제약을 준수하면서 저조기 동안 배치 유사 작업을 통해 용량을 채웁니다.

media r/LocalLLaMA · 9일 전 · 조회수 19회

NVIDIA, GB300 NVL72에서 GPU당 4K tok/s로 Qwen 3.8 2.4T 서빙

NVIDIA는 구성 가능한 추론 기능을 갖춘 Qwen 3.8 2.4T 파라미터 모델을 자체 GB300 NVL72 하드웨어 플랫폼에서 서빙하는 것을 시연했습니다.

github llama.cpp · 18일 전 · 조회수 15회

llama.cpp b10306이 SYCL GLU 평탄 경로 추가 및 커널 통합

llama.cpp b10306 릴리스는 게이트드 리니어 유닛(GLU) 연산을 대상으로 하는 SYCL 백엔드의 성능 최적화를 도입합니다. 이 업데이트는 융합된 GLU 연산에 대한 연속적인 고속 경로를 추가하고, 이전에 별개였던 커널을 통합하여 공통 런처를 공유하도록 합니다.