media Hugging Face Forums · 1 jam lalu · open_models

Graf Memori Berbobot Perhatian menggunakan perhatian Jina untuk traversal graph-RAG

Diterjemahkan dari English → Bahasa Indonesia

Sebuah proposal baru menguraikan struktur memori LLM yang menggabungkan chunking terlambat dengan tepi berbobot perhatian untuk memungkinkan traversal langkah demi langkah. Sistem ini memanfaatkan model embedding dari Jina AI, yang menghitung perhatian antara kalimat, untuk menurunkan bobot tepi dari pemrosesan internal dokumen.

Chunking terlambat mempertahankan konteks tingkat dokumen dengan men-tokenisasi dan menyematkan seluruh teks sebelum menurunkan vektor chunk.
Matriks perhatian dari satu lewatan maju mendefinisikan tepi graf, dengan bobot berdasarkan seberapa banyak satu chunk memperhatikan chunk lainnya.
Retrieval menggunakan traversal swarm dengan anggaran yang menurun, berhenti ketika biaya melebihi batas daripada pada hitungan lompatan tetap.
Pembaruan embedding disesuaikan oleh sisa anggaran, memastikan bahwa node pusat berubah lebih banyak daripada yang jauh.

Pendekatan ini memungkinkan manajemen konteks dinamis di mana relevansi informasi yang diambil menentukan pengaruhnya terhadap keadaan memori.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Retrieval & RAG

Artikel terkait

media r/LocalLLaMA · 6 hari lalu · 1 tayangan

PaddlePaddle merilis HPD-Parsing, model 1B dengan dekoding paralel hierarkis

PaddlePaddle telah memperkenalkan HPD-Parsing, model parsing dokumen ringan dengan 1 miliar parameter yang memanfaatkan paradigma Hierarchical Parallel Decoding untuk meningkatkan throughput. Arsitektur ini mengoordinasikan struktur halaman global melalui cabang tata letak utama sambil mendistribusikan generasi konten terlokalisasi ke cabang-cabang konkuren, dengan memanfaatkan Progressive Multi-Token Prediction untuk mengurangi langkah dekoding.

media Hugging Face Forums · 18 hari lalu

Layanan basis data vektor terpusat menyediakan toko FAISS terisolasi untuk RAG multi-proyek

Penulis membangun layanan basis data vektor terpusat yang dikontrol oleh admin yang memungkinkan beberapa proyek dalam sebuah organisasi untuk menyematkan dan mengambil data dari toko vektor terisolasi mereka sendiri. Pendekatan ini menghilangkan kebutuhan bagi setiap proyek untuk mempertahankan logika penyematan dan kode duplikat mereka sendiri.

media Hugging Face Forums · 20 hari lalu

Mode native Open WebUI gagal pada M5 Pro dengan Gemma 4

Seorang pengguna melaporkan bahwa mode "native" Open WebUI gagal mengambil dari basis pengetahuan yang dilampirkan saat menjalankan LLM lokal di MacBook M5 Max. Kesalahan `str object has no attribute 'items'` terjadi di kedua fungsi `query_knowledge_files` dan `kb_exec` meskipun telah diperbarui ke versi terbaru Open WebUI dan Docker.

media Hugging Face Forums · 20 hari lalu

Masalah penanganan konteks Llama 3.1 8B Q4_K_M di agen RAG Ollama

Seorang pengembang yang menerapkan Llama 3.1:8b-instruct-q4_K_M melalui Ollama dengan FastAPI dan Qdrant untuk agen suara berbahasa Spanyol dan WhatsApp mengidentifikasi tiga masalah produksi terkait bagaimana model menangani konteks yang disuntikkan dalam percakapan multi-giliran.

arxiv arXiv cs.CL · 20 hari lalu · 1 tayangan

NAVINDEX menyamai injeksi pada dokumen hukum dengan konteks 56x lebih kecil dan biaya 25% lebih rendah

Sebuah studi membandingkan injeksi korpus penuh terhadap dua mode pengambilan terstruktur untuk menganalisis dokumen hukum transaksional: pengambilan embedding (NAVEMBED) dan navigasi LLM di atas indeks kompak (NAVINDEX). Pada benchmark 20 pertanyaan, kedua metode pengambilan menyamai injeksi dalam akurasi semantik sambil secara signifikan mengurangi penggunaan token.