github llama.cpp · 2 小时前 · inference

llama.cpp b10628 新增 Apple RDMA RPC 传输支持

译自 English → 中文

llama.cpp 项目发布了 b10628 版本，引入了对 Apple RDMA 作为远程过程调用 (RPC) 传输机制的支持。

重要性 1/3 可信度 1/3 llama.cpp Hardware & chips Inference efficiency

OpenAI发布了其首款定制推理芯片Jalapeño的初步性能结果，与现有商业系统相比，在速度和能效方面展现出显著提升。该公司表示，新架构能够同时实现更高的吞吐量和更低的延迟，解决了当前硬件中常见的权衡问题。

llama.cpp 项目发布了构建版本 b10534，引入了特定于硬件的切换点，以在 CUDA 上的量化解码过程中调整向量路径与张量核心路径之间的交叉。

在七种场景下，对感知约束的GPU分配器与FIFO调度器进行了基准测试，在相同硬件上实现了高达33个百分点的GPU利用率提升，以及高达105%的优先级加权输出增长。该系统将实时推理需求视为波动曲线而非静态预留，允许类批处理作业在低谷期填充容量，同时遵守严格约束，如连续的GPU块和非抢占式调度。

NVIDIA展示了在其GB300 NVL72硬件平台上提供具有可配置推理能力的Qwen 3.8 2.4T参数模型。

llama.cpp b10306 版本引入了针对 SYCL 后端的性能优化，特别针对门控线性单元（GLU）操作。此次更新为融合的 GLU 操作添加了连续的快速路径，并将之前不同的内核整合以共享一个通用的启动器。