研究人员已调整递归特征机(RFM)算法,结合探针引导的初始化,以高效识别大型语言模型中的多维拒绝子空间。该方法能够在数秒内提取子空间,适用于Qwen 3等推理模型和Qwen 2.5等非推理模型,解决了现有方法的计算成本过高的问题。
- 该方法利用RFM比先前技术更快地计算子空间。
- 在消融任务上,其性能优于其他子空间提取方法。
- 该技术适用于推理和非推理模型架构。
RFM作为现有子空间提取方法的廉价且可扩展的补充,促进了LLM中更易于访问的安全监控和可解释性分析。
研究人员已调整递归特征机(RFM)算法,结合探针引导的初始化,以高效识别大型语言模型中的多维拒绝子空间。该方法能够在数秒内提取子空间,适用于Qwen 3等推理模型和Qwen 2.5等非推理模型,解决了现有方法的计算成本过高的问题。
RFM作为现有子空间提取方法的廉价且可扩展的补充,促进了LLM中更易于访问的安全监控和可解释性分析。