media Hugging Face Forums · baru saja · open_models

Trimwise: pemangkasan konteks yang sadar kueri

Diterjemahkan dari English → Bahasa Indonesia

Penulis telah merilis Trimwise, sebuah pustaka Python sumber terbuka yang dirancang untuk menyesuaikan teks sumber agar muat dalam anggaran konteks tertentu dengan menghapus materi yang tidak relevan sambil mempertahankan bukti yang relevan dengan pertanyaan saat ini.

Pustaka ini mendukung pemangkasan sumber tunggal melalui `atrim` dan pemangkasan multi-sumber melalui `atrim_context`, yang memungkinkan sumber bersaing untuk berbagi anggaran.
Ia memilih rentang sumber yang sudah ada alih-alih menghasilkan ringkasan, memberikan informasi provenance untuk melacak teks yang dipertahankan kembali ke inputnya.
Jalur leksikal bawaan tidak memerlukan bobot model atau inferensi LLM, meskipun mode berbasis embedding opsional tersedia untuk pemilihan semantik dan hibrida.
Benchmark yang diterbitkan mencakup skenario spesifik, dengan penulis mencari umpan balik mengenai kasus tepi seperti kualifier yang hilang, negasi, atau fakta yang direvisi.

Alat ini bertujuan mengatasi trade-off di mana pemotongan sederhana membuang konteks yang diperlukan, menawarkan cara untuk mempertahankan bukti relevan tanpa menghasilkan teks baru.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Retrieval & RAG

Artikel terkait

media Hugging Face Forums · 4 hari lalu · 20 tayangan

Proposal untuk mengambil memori laten asli LLM alih-alih teks di RAG

Sebuah diskusi di Hugging Face mengusulkan mengganti pengambilan teks tradisional dalam sistem RAG dengan representasi laten asli LLM. Gagasan ini melibatkan pengkodean dokumen ke dalam keadaan internal model selama pengindeksan dan mengambil keadaan tersebut untuk inferensi, berpotensi menghindari biaya memproses ulang teks yang diambil.

arxiv arXiv cs.CL · 8 hari lalu · 35 tayangan

KuaFu mengompresi perilaku pengguna menjadi pemahaman pada skala miliaran

Tencent memperkenalkan KuaFu, lapisan kompresi perilaku terpadu yang memadatkan riwayat pengguna mentah menjadi representasi kompak untuk agen percakapan dan sistem rekomendasi. Sistem ini menggunakan proyektor dua sumbu untuk mengompresi setiap item perilaku menjadi 2-4 token dengan lebar 128-256, mengatasi hambatan dalam memproses urutan panjang untuk satu miliar pengguna.

media Hugging Face Forums · 17 hari lalu · 36 tayangan

Rute semantik mengurangi token input Qwen2.5 sebesar 41% dan latensi sebesar 45% dalam uji stres konteks 14K

Uji stres GPU menggunakan Qwen2.5-7B-Instruct beku 4-bit pada pertanyaan jembatan HotpotQA menunjukkan bahwa rute semantik yang sadar tugas secara signifikan meningkatkan efisiensi dan akurasi di bawah kondisi pengganggu tinggi. Studi ini membandingkan konteks penuh yang dibatasi dengan selektor semantik yang sadar kueri, yang mempertahankan 60% dari anggaran, mengungkapkan peningkatan substansial dalam kecepatan dan presisi.

media Hugging Face Forums · 23 hari lalu · 28 tayangan

Rute sadar jembatan mengalahkan BM25 dan promosi acak pada Qwen2.5-7B

Evaluasi 600 kasus pada dataset MuSiQue menggunakan model Qwen2.5-7B-Instruct dan MiniLM yang dibekukan menguji apakah pemilihan konteks sadar jembatan dapat mengungguli konteks penuh dan baseline lainnya.

lab Hugging Face Blog · 42 hari lalu · 62 tayangan

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.