arxiv arXiv cs.CL · 3 hari lalu · sumber: 6 hari lalu · research

KuaFu mengompresi perilaku pengguna menjadi pemahaman pada skala miliaran

Diterjemahkan dari English → Bahasa Indonesia

Tencent memperkenalkan KuaFu, lapisan kompresi perilaku terpadu yang memadatkan riwayat pengguna mentah menjadi representasi kompak untuk agen percakapan dan sistem rekomendasi. Sistem ini menggunakan proyektor dua sumbu untuk mengompresi setiap item perilaku menjadi 2-4 token dengan lebar 128-256, mengatasi hambatan dalam memproses urutan panjang untuk satu miliar pengguna.

KuaFu menyamai atau melampaui model produksi tugas tunggal yang tidak terkompresi di empat tugas pemprofilan, sambil meningkatkan throughput per-GPU sebesar 37%-350% dan menghemat 190 GPU. Pada benchmark publik, ia mengungguli kompresor sebelumnya pada rasio yang sama, dengan model 4B melampaui rekan 8B-nya di RecBench.

Setelah berjalan di platform iklan dan rekomendasi Tencent selama sepuluh bulan, KuaFu meningkatkan GMV keseluruhan sebesar 1.37%.

Kepentingan 2/3 arXiv cs.CL Tencent Inference efficiency Retrieval & RAG

Baca aslinya

Rute semantik mengurangi token input Qwen2.5 sebesar 41% dan latensi sebesar 45% dalam uji stres konteks 14K

Uji stres GPU menggunakan Qwen2.5-7B-Instruct beku 4-bit pada pertanyaan jembatan HotpotQA menunjukkan bahwa rute semantik yang sadar tugas secara signifikan meningkatkan efisiensi dan akurasi di bawah kondisi pengganggu tinggi. Studi ini membandingkan konteks penuh yang dibatasi dengan selektor semantik yang sadar kueri, yang mempertahankan 60% dari anggaran, mengungkapkan peningkatan substansial dalam kecepatan dan presisi.

lab Tencent Hunyuan (HF) · 17 hari lalu · 21 tayangan

Tencent merilis checkpoint Simple Attention Sparsification untuk Qwen3

Tencent telah merilis checkpoint Simple Attention Sparsification (SAS) yang belajar meranking dan memilih blok KV untuk setiap kueri dalam model Qwen3. Berbeda dengan metode yang mendistilasi skor perhatian padat, SAS menambahkan gerbang kontinu ke blok yang dipilih, memungkinkan optimisasi end-to-end dari perankingan konteks dengan kerugian pemodelan bahasa.

media Hugging Face Forums · 17 hari lalu · 16 tayangan

Rute sadar jembatan mengalahkan BM25 dan promosi acak pada Qwen2.5-7B

Evaluasi 600 kasus pada dataset MuSiQue menggunakan model Qwen2.5-7B-Instruct dan MiniLM yang dibekukan menguji apakah pemilihan konteks sadar jembatan dapat mengungguli konteks penuh dan baseline lainnya.

lab Tencent Hunyuan (HF) · 23 hari lalu · 37 tayangan

Tencent merilis EVIE-4.5B dengan Prefix-MRL dinamis dan kompresi token tanpa pelatihan

Tencent telah merilis EVIE-4.5B, model pengambilan dokumen visual multibahasa berkinerja tinggi yang menampilkan Prefix-Multivector Retrieval Latency (Prefix-MRL) dinamis dan kompresi token Hierarchical Agglomerative Clustering (HAC) tanpa pelatihan.

lab Tencent Hunyuan (HF) · 23 hari lalu · 32 tayangan

Tencent merilis EVIE-8B, model pengambilan dokumen visual 4096D

Tencent telah merilis EVIE-8B, model pengambilan dokumen visual berkapasitas tinggi yang menampilkan representasi token berdimensi 4096 dan perhatian penuh dua arah. Model ini berfungsi sebagai dasar pengajar untuk varian ringan EVIE-4.5B Prefix-MRL dan mencapai kinerja terbaik pada benchmark pengambilan dokumen visual.