github llama.cpp · 1 小时前 · inference

llama.cpp b10798 使构建信息输出流可配置

译自 English → 中文

llama.cpp 项目发布了版本 b10798，引入了一项更改，使构建信息输出流可配置。此更新允许 `llama_print_build_info` 写入调用者提供的 FILE*，而不是硬编码 stderr。

此更改提高了需要以编程方式重定向构建信息输出的开发者的灵活性。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency

llama.cpp 项目发布了构建版本 b10796，其中包含对模型加载器的更改，以支持每层专家数量不同的模型。

FlashAttention-4 通过为非因果推理和因果训练引入新路径，解决了 Blackwell 的 4 位浮点（FP4）张量核心的性能限制。该方法称为 Direct-P，将分数直接映射到 FP4 概率，以绕过通常在矩阵乘积缩小后占主导地位的 softmax 转换开销。

llama.cpp 项目发布了版本 b10795，其中包括针对 SYCL 后端的新的优化。此更新启用了在 GGML_SYCL_ENABLE_FUSION 标志下对 RMS_NORM+MUL+ADD 和 ADD+ADD 残差链的融合。

llama.cpp 项目发布了 b10791 版本，引入了针对量化语言模型头和解码 GEMV 操作的重大 OpenCL 优化。此更新还包括与推测性解码和多令牌预测相关的中等批次 GEMM 改进。

llama.cpp 项目发布了构建版本 b10792，其中包括对 GBNF 语法生成的修复，专门解决了空对象模式的问题。