JLens-GGUF 为 llama.cpp 添加了交互式雅可比透镜可视化和控制功能

名为 JLens-GGUF 的新工具为在 llama.cpp 上运行的 GGUF 模型带来了交互式雅可比透镜可视化和实时控制能力。受 Anthropic 研究的启发，该项目填补了基于 GGUF 的推理引擎的空白，允许用户观察和操作其模型的内部状态。

• 它包含一个紧密基于 llama.cpp 的原生 GGUF 服务器，支持模型观测和 j-space 交换、abliteration 以及控制。
• 该工具同时适用于密集型和混合专家 (MoE) GGUF 格式。
• 虽然它可以观察正在运行的 llama-server 模型，但不能直接控制它们；控制需要原生服务器。
• 透镜的内存需求随模型大小缩放，大约为模型占用空间的 1/8。

此实现为本地用户提供了以前仅限于 PyTorch 或 Hugging Face 环境的先进可解释性和控制功能的访问权限。