Jason Van Pham 发布了 Niodoo,这是一个旨在通过隐藏状态控制冻结的大语言模型的本地运行时。该项目旨在通过在推理过程中注入噪声或“物理力”来打破 token 循环,从而纠正最后一步的错误。这种方法允许较小的模型在不进行微调的情况下提高性能,针对特定的失败案例,如 Llama 草莓提示基准测试。该系统生成自己的遥测标签,并利用拓扑数据分析(TDA)来监控内部模型状态以检测循环行为。Van Pham 通过数月的自主研究和红队测试有机地开发了此工具,强调来自固定哈希的可复现结果。代码可在 GitHub 上的 Ruffian-L/niodoo-hidden-state-steering 仓库中找到。
Niodoo:用于冻结大语言模型隐藏状态控制的本地运行时
译自 English → 中文