github llama.cpp · 1 小时前 · inference

llama.cpp b10519重构睡眠处理以允许访问指标

译自 English → 中文

llama.cpp项目发布了b10519版本，其中包括对服务器睡眠处理机制的重大重构。此更改允许在服务器处于睡眠状态时保持/metrics端点可访问。

重构了on_sleeping_state逻辑并拆分了指标和槽位任务/结果。
添加了缓存响应并修复了指标任务计时器中的竞态条件。
修复了get_res_model_info并更新了文档。
提供了适用于macOS（Apple Silicon/Intel）、Linux（CPU、Vulkan、OpenVINO、SYCL）、Windows（CPU、CUDA 12/13、Vulkan、ROCm）、Android和openEuler的二进制文件。

重要性 1/3 可信度 1/3 llama.cpp Inference efficiency Local inference

llama.cpp b10517 添加 Vulkan FA 反量化优化和修复

llama.cpp 项目发布了构建版本 b10517，在 flash attention (FA) 反量化路径中引入了几项针对 Vulkan 的改进。关键更改包括：在 coopmat1 中对 q8_0 KV 进行一次反量化、在 coopmat2 上跳过 FA 反量化路径，以及将 Intel Xe1 排除在 FA 反量化路径之外。

media r/LocalLLaMA · 9 小时前 · 2 次浏览

G9v3-39A5B MoE模型在artificialanalysis上表现强劲

G9v3-39A5B模型因其performance在artificialanalysis上的表现而受到关注，据报道其排名高于Qwen 3.6 27B。

media Hugging Face Forums · 9 小时前 · 1 次浏览

Celestium 管道通过自适应 FP16 和 CPU 回退使 SDXL 在 4GB-8GB GPU 上运行

使用 Celestium 的硬件无关推理管道进行的诊断表明，Stable Diffusion XL 可以通过利用自适应 FP16 精度和自主内存清理，在低显存 GPU（4GB、6GB 和 8GB）上稳定运行。该方法防止了多阶段管道期间的碎片化峰值，并利用紧急 CPU 模式在 GPU 显存耗尽时维持生成。

github llama.cpp · 19 小时前 · 1 次浏览

llama.cpp b10505 新增 dedup-cache-models 预设选项

llama.cpp 项目发布了 b10505 版本，为服务器组件引入了新的 `dedup-cache-models` 预设选项。

media Hugging Face Forums · 2 天前 · 3 次浏览

傅里叶幅度KV缓存量化在相同内存下使上下文长度翻倍

ntrillard 证明，将 K 和 V 缓存值的傅里叶幅度谱量化为 4 位，同时以全精度保留相位，在 Gemma-3-1B 上相对于 fp16 参考实现了 96.9% 的 token 匹配率，相比标准 min-max 量化提升了 5-10 倍。