media r/LocalLLaMA · 1 天前 · open_models

GLM在新博客文章中详细介绍了其推理基础设施

译自 English → 中文

GLM团队在z.ai的博客上发表了一篇文章，详细介绍了其推理基础设施的架构和设计。

该文章深入介绍了GLM如何处理模型服务和优化。
对于关注大型语言模型部署系统的人来说，这是一篇“非常有趣的读物”。

重要性 2/3 r/LocalLLaMA Zhipu AI Inference efficiency

相关文章

media MarkTechPost · 21 天前 · 38 次浏览

Z.ai与阿里巴巴独立收敛于GLM-5.3-Flash和Qwen3.8-Flash-Next的3:1线性注意力架构

Z.ai发布了GLM-5.3-Flash，这是一个拥有320B参数、18B激活参数的多模态MoE模型；而阿里巴巴的Qwen团队则发布了Qwen3.8-Flash-Next，这是一个拥有125B参数、6B激活参数的模型。尽管是独立开发，但两个团队采用了几乎相同的架构配置。

lab Hugging Face Blog · 31 天前 · 28 次浏览

ALTK-Evolve 根据模型能力校准代理记忆剂量以提升性能

对八项模型的研究表明，代理记忆并非通用特性，而是一种必须针对特定模型能力进行校准的剂量。ALTK-Evolve 框架从代理的历史轨迹中提取指导原则，并在推理阶段注入这些原则而无需更新权重，结果表明最优的记忆策略在不同模型层级之间存在显著差异。

github llama.cpp · 52 天前 · 32 次浏览

llama.cpp b10174 为 GLM-5.2 添加 NextN/MTP 推测解码支持

llama.cpp 项目发布了构建版本 b10174，为 GLM_DSA (GLM-5.2) 模型架构引入了 NextN/MTP 推测解码支持。

arxiv arXiv cs.CL · 53 天前 · 28 次浏览

PIVOT通过跨查询组共享前缀扫描来加速令牌级稀疏注意力

PIVOT（Proxy Indexing Via One full-prefix Traversal）是一种无需训练、可即插即用的DeepSeek稀疏注意力（DSA）索引器替代方案，它通过在邻近查询组间共享单次前缀扫描来减少计算冗余。PIVOT不再为每个查询单独对每个前置令牌进行评分，而是将查询组聚合为一个代理查询以获取候选集，随后从中为每个查询选出top-k个令牌。

media r/LocalLLaMA · 72 天前 · 21 次浏览

GLM-5.2 在 4× DGX Spark 上以 4-bit 格式在 Terminal-Bench 2.1 中达到 70.8%

一位用户将 GLM-5.2 (753B MoE) 模型量化为 Int4-Int8Mix，并使用 NVFP4 4-bit KV 缓存，在四台 DGX Spark (GB10) 系统上运行，在 Terminal-Bench 2.1 中取得了 70.8% 的得分。