Tencentは、生のユーザー履歴を会話エージェントやレコメンダーのためのコンパクトな表現に凝縮する統一された行動圧縮レイヤーであるKuaFuを導入しました。このシステムは2軸プロジェクターを使用して、各行動アイテムを幅128-256の2〜4トークンに圧縮し、十億人のユーザーに対する長いシーケンスの処理におけるボトルネックに対処します。

KuaFuは、4つのプロファイリングタスクにおいて非圧縮の単一タスク生産モデルと同等かそれ以上であり、GPUあたりのスループットを37%〜350%向上させ、190個のGPUを節約しました。公開ベンチマークでは、同じ比率で以前の圧縮器を上回り、4BモデルがRecBenchで8Bモデルを上回りました。

Tencentの広告およびレコメンデーションプラットフォームで10ヶ月間稼働した後、KuaFuは全体のGMVを1.37%向上させました。