loo5x 发布了 llama-modes v0.4.0，这是 llama.cpp 的一个分支，允许一次性加载单个 GGUF 模型以执行多种结构化推理模式，而无需切换模型或添加分类器。
- BOOLEAN 模式直接评估是/否答案。
- CHOICE 模式评估任意提供的候选项，包括多 token 标签。
- SCALE 模式评估有序或区间尺度，返回离散分布和派生统计量（如中位数或期望值）。
- 该项目包含 Windows CUDA 版本、本地 React 演示和 API 文档。
这种方法允许开发人员在同一内存中重用相同的模型权重以进行不同的推理原语，直接从普通的本地语言模型暴露结构化评分。