Nokia Applied Research发布了AnyJev，该项目使用户能够在单次前向传递中直接从LLM的内部状态中提取可信的决策。
- 该方法无需生成循环、解析或微调。
- 它有效地将缓慢的聊天机器人转换为快速且廉价的确定性分类器。
media
r/LocalLLaMA
·
1 小时前
·
open_models
Nokia Applied Research发布AnyJev，将任何LLM转化为Jev风格的决策模型
译自 English → 中文
相关文章
arxiv
arXiv cs.AI
·
7 天前
·
29 次浏览
TokenProbe在保持推理质量的同时将CoT令牌使用量减少76%
研究人员提出了TokenProbe，这是一个解决思维链（Chain-of-Thought）推理中高令牌消耗问题的框架，它利用了序列中令牌值的非均匀性。该方法使用归一化对数概率来区分核心结构令牌和冗余填充物，从而实现选择性压缩。
media
Hugging Face Forums
·
16 天前
·
33 次浏览
GlucoEdge：使用INT8量化进行设备端血糖趋势预测
独立研究员Mohamed Menasy发布了GlucoEdge，这是一项工程研究，详细阐述了基于连续血糖监测器数据进行五类、15分钟血糖趋势预测的端到端设备端机器学习流水线。该工作引入了一个仅包含2,909个参数的紧凑1D CNN，并涵盖了从PyTorch到LiteRT转换的完整工作流程。
media
Hugging Face Forums
·
16 天前
·
48 次浏览
文献综述发现压缩节省与实测能耗相关性较弱
一位独立研究人员发表了一篇文献综述，分析了量化、剪枝和知识蒸馏等模型压缩技术是否真正降低了实测能耗，还是仅仅减少了 FLOPs。
lab
Hugging Face Blog
·
41 天前
·
62 次浏览
Multiverse Computing 的 QAH 使 4 位 GPT-OSS 超越其全精度原版
Multiverse Computing 推出了量化感知修复（QAH），这是一种直接从原始预压缩教师模型中蒸馏压缩、量化大语言模型的方法。将其应用于压缩至 60B 参数并量化为 MXFP4 的 GPT-OSS 120B 模型时，该方法产生的模型在 9 项基准测试中的 7 项上优于其自身的 bfloat16 全精度版本。
arxiv
arXiv cs.CL
·
53 天前
·
49 次浏览
减少矩阵乘法：面向大语言模型推理的输入自适应矩阵乘积约简
研究人员提出减少矩阵乘法（RMM），这是一种无需训练、输入自适应的推理方法，通过在收缩维度上选择信息丰富的切片来降低 Transformer 矩阵乘积，而无需修改模型权重。在简单的保留率控制下，RMM 在参数量从 1B 到 70B 的语言模型中提供了平滑且可预测的精度-效率权衡。