llama.cpp 项目发布了版本 b11440,其中包括对推测性 MTP 初始化的修复。该更新确保当 NextN 提取标志更改时重新保留调度器,防止未掩码提取出现问题。

  • 推测性 MTP 初始化现在在创建后启用目标和草稿上下文中的 NextN 提取。
  • trunk 图保留每个令牌直到最后一层,而不是裁剪到输出行。
  • 当标志更改时使保留无效,允许下一次计算以新的图形状重新保留。
  • 二进制文件适用于 macOS、Linux、Windows、Android 和 iOS,涵盖 CPU、GPU 和 NPU 后端。

此更改通过确保解码期间正确的批次形状分配来防止 GGML_SCHED_DEBUG_REALLOC 错误。