llama.cpp b10144 版本解决了服务器和 UI 中关于可恢复流的关键问题,特别是修复了对包含斜杠的模型名称的处理。它还解决了在模型加载期间请求未正确取消或恢复的错误。

  • 重构可恢复流路由以使用 `conv_id` 查询字符串,使路由器模式下包含斜杠的模型名称能够正确通过编码。
  • 通过在自动加载等待之前注册对话,在模型加载期间停止流时取消挂起的请求。
  • 通过在模型加载期间将会话请求从客户端套接字分离并对重试返回 503,实现在页面重新加载后恢复流。
  • 通过持久化挂起流状态,在页面刷新后恢复 UI 中模型加载进度的可见性。

这些更改确保对话能够抵御客户端断开连接和 URL 编码问题,防止在模型加载阶段出现孤立请求和会话丢失。