PIN架构v2引入了一种在训练前通过权重绑定预先选择神经网络大小和推理速度的方法。该技术强制一组单元保持相同的值,使网络能够在大幅减少存储权重的同时维持其宽度。
- 权重绑定将网络宽度与存储成本解耦;拥有256个单元的模型可以容纳在3,000个数字的预算内,而该预算通常仅允许一个隐藏单元。
- 在与幅度剪枝、低秩分解、量化和蒸馏的测试中,权重绑定在五种位预算中赢得了四种,并且是唯一在100 KB以下仍可用的方法。
- 在128倍压缩下,绑定模型的精度与未压缩版本相差不到1.2个点。
- 该方法实现了跨模型的共享坐标系,使基础网络和线性映射能够预测未见任务组合的变体,而无需重新训练。
- 总共43,000个数字(基础网络加映射)可以生成120种可能任务中的任意一种,而传统存储则需要1400万个数字。
该框架允许开发者首先指定存储预算和推理限制,使模型架构遵循这些约束,而不是通过反复调整来寻找适配方案。