github vLLM · 15 小时前 · inference

vLLM v0.27.1 增加对量化 DSpark Markov 头的支持

译自 English → 中文

vLLM 发布了版本 0.27.1，这是一个基于先前 v0.27.0 发布的补丁更新。

重要性 1/3 可信度 2/3 vLLM Inference efficiency

llama.cpp b10361 版本解决了一个关键错误，由于加载期间参数顺序不正确，导致 LGAI-EXAONE 4.5 模型未启用滑动窗口注意力（SWA）。

ALTK-Evolve 是一种用于代理记忆的系統，它在不更新权重的情况下将代理轨迹转化为可复用的指南，其准确率匹配或超越了 ACE，同时使用的 token 数量显著减少。与 ACE 在每个步骤中注入完整操作手册不同，ALTK-Evolve 使用选择性检索，根据模型容量仅提供相关的指南。

研究人员在解码过程中发现相关视觉信息偏移（RVIS）是导致现有视觉令牌剪枝方法在多模态大语言模型（MLLM）中失效的主要原因。为解决这一问题，他们提出了无需训练的解码阶段感知偏移令牌剪枝（DSTP），将视觉令牌与变化的推理需求对齐。

webAI发布了TwIL-LM，这是一个包含两个模型的形式逻辑推理器系列，参数量分别为1.7B和3B，专为在本地硬件上进行自动形式化而设计。这些模型将英语翻译为一阶逻辑并检查结论的有效性，其中3B变体在域内形式逻辑任务上达到了0.4218的宏观门控得分。

Meta发布了Muse Glimmer，这是一个30B密集多模态模型，针对本地代理部署进行了优化，采用Apache 2.0许可证，并承诺未来将提供Muse Spark 1.2的权重。