Tencent推出KuaFu,这是一个统一的行为压缩层,可将原始用户历史压缩为对话代理和推荐系统的紧凑表示。该系统使用双轴投影器将每个行为项压缩为宽度128-256的2-4个token,解决了为十亿用户处理长序列时的瓶颈。
在四项画像任务中,KuaFu的表现持平或优于未压缩的单任务生产模型,同时将每GPU吞吐量提高37%-350%,并节省190块GPU。在公开基准测试中,它在相同压缩比下优于先前的压缩器,4B模型在RecBench上超越了8B对应模型。
在腾讯广告和推荐平台上运行十个月后,KuaFu使总GMV提升了1.37%。