llama.cpp 项目已更新其服务器组件,以支持 Clef 模型的视觉输入。此更改是 pull request #29969 的一部分。

  • 为 Clef 添加了视觉输入支持。
  • 将 input_attn_causal 移至私有。
  • 扩展了旧的 server_batch::embd。
  • 将 server_batch::token::pos 改为多维。
  • 修复了中止处理。
  • 修复了图像 token 上限。
  • 修复了 yield_to_queue 数据变异问题。