llama.cpp 项目发布了版本 b10437，引入了对 MiniMax-Text-01 和 MiniMax-M1 因果语言模型的本地支持。此更新包含了在 llama.cpp 框架内运行这些特定模型所需的转换脚本、聊天模板和模型架构实现。

  • 在模型层添加了对 `MiniMaxText01ForCausalLM` 和 `MiniMaxM1ForCausalLM` 的支持。
  • 实现了针对零值嵌入的令牌抑制，以防止干扰采样过程。
  • 通过移除状态转置操作并使用通用函数进行简洁实现来优化性能。
  • 添加了专门用于 MiniMax-M1 的 Jinja 聊天模板。
  • 包含了适用于 macOS、Linux、Windows、Android 和 openEuler 的构建产物，覆盖 CPU、GPU 和各种加速器。

此版本使用户能够利用 llama.cpp 现有的推理基础设施在本地运行 MiniMax 模型。