lab Hugging Face Blog · 1 jam lalu · releases

Sentence Transformers v6 menambahkan MultiVectorEncoder untuk pengambilan interaksi akhir

Diterjemahkan dari English → Bahasa Indonesia

Versi 6 Sentence Transformers memperkenalkan kelas MultiVectorEncoder, memungkinkan pengambilan interaksi akhir (late interaction) bergaya ColBERT langsung di dalam pustaka tanpa memerlukan dependensi eksternal seperti PyLate. Penambahan ini memungkinkan pengguna memuat checkpoint multi-vektor dari berbagai sumber, termasuk format PyLate dan Stanford-NLP, menggunakan API terpadu.

Model multi-vektor melestarikan informasi tingkat token dengan menyimpan satu vektor per token, menilai kueri terhadap dokumen melalui operator MaxSim untuk meningkatkan kualitas pengambilan dibandingkan embedding padat single-vektor.
Implementasi mendukung pengambilan dokumen visual melalui model colpali-engine dan menangani berbagai format checkpoint secara native.
Strategi pengindeksan seperti fast-plaid digunakan untuk mengelola biaya penyimpanan yang meningkat terkait penyimpanan vektor untuk setiap token.

Fitur ini membawa kemampuan interaksi akhir ke inti ekosistem Sentence Transformers, memungkinkan pengguna memanfaatkan metode pengambilan mutakhir sambil mempertahankan kompatibilitas dengan alur kerja model padat dan jarang yang ada.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Blog Inference efficiency Retrieval & RAG

Artikel terkait

media Hugging Face Forums · 21 hari lalu · 13 tayangan

Graf Memori Berbobot Perhatian menggunakan perhatian Jina untuk traversal graph-RAG

Sebuah proposal baru menguraikan struktur memori LLM yang menggabungkan chunking terlambat dengan tepi berbobot perhatian untuk memungkinkan traversal langkah demi langkah. Sistem ini memanfaatkan model embedding dari Jina AI, yang menghitung perhatian antara kalimat, untuk menurunkan bobot tepi dari pemrosesan internal dokumen.

media r/LocalLLaMA · 26 hari lalu · 24 tayangan

PaddlePaddle merilis HPD-Parsing, model 1B dengan dekoding paralel hierarkis

PaddlePaddle telah memperkenalkan HPD-Parsing, model parsing dokumen ringan dengan 1 miliar parameter yang memanfaatkan paradigma Hierarchical Parallel Decoding untuk meningkatkan throughput. Arsitektur ini mengoordinasikan struktur halaman global melalui cabang tata letak utama sambil mendistribusikan generasi konten terlokalisasi ke cabang-cabang konkuren, dengan memanfaatkan Progressive Multi-Token Prediction untuk mengurangi langkah dekoding.

media Hugging Face Forums · 39 hari lalu · 11 tayangan

Layanan basis data vektor terpusat menyediakan toko FAISS terisolasi untuk RAG multi-proyek

Penulis membangun layanan basis data vektor terpusat yang dikontrol oleh admin yang memungkinkan beberapa proyek dalam sebuah organisasi untuk menyematkan dan mengambil data dari toko vektor terisolasi mereka sendiri. Pendekatan ini menghilangkan kebutuhan bagi setiap proyek untuk mempertahankan logika penyematan dan kode duplikat mereka sendiri.

media Hugging Face Forums · 41 hari lalu · 6 tayangan

Mode native Open WebUI gagal pada M5 Pro dengan Gemma 4

Seorang pengguna melaporkan bahwa mode "native" Open WebUI gagal mengambil dari basis pengetahuan yang dilampirkan saat menjalankan LLM lokal di MacBook M5 Max. Kesalahan `str object has no attribute 'items'` terjadi di kedua fungsi `query_knowledge_files` dan `kb_exec` meskipun telah diperbarui ke versi terbaru Open WebUI dan Docker.

media Hugging Face Forums · 41 hari lalu · 4 tayangan

Masalah penanganan konteks Llama 3.1 8B Q4_K_M di agen RAG Ollama

Seorang pengembang yang menerapkan Llama 3.1:8b-instruct-q4_K_M melalui Ollama dengan FastAPI dan Qdrant untuk agen suara berbahasa Spanyol dan WhatsApp mengidentifikasi tiga masalah produksi terkait bagaimana model menangani konteks yang disuntikkan dalam percakapan multi-giliran.