media Hugging Face Forums · 1 jam lalu · open_models

ELIZA dengan Autoencoder Jarang

Diterjemahkan dari English → Bahasa Indonesia

Implementasi baru dari chatbot ELIZA memanfaatkan arsitektur autoencoder jarang untuk menyimpan entri percakapan dalam lapisan memori laten, bertujuan meningkatkan metode pencocokan kata kunci tradisional. Sistem ini menggunakan struktur encoder-decoder T5 dengan lapisan memori 32.768 neuron, di mana entri serupa diaktifkan melalui pembelajaran kontrastif.

Model mencapai penskalaan memori logaritmik (log(n)) dan ketahanan kuat terhadap pelupaan katastrofik dengan menggunakan neuron monosemantik dan mengaktifkan hanya koneksi top-k.
Pelatihan pada 10.000 pasangan QA dari dataset 'naklecha/minecraft-question-answer-700k' memungkinkan memori laten untuk semua entri dalam tiga jam.
Berbeda dengan ELIZA standar yang mengeluarkan urutan tersimpan secara tepat, decoder dapat memodifikasi respons sedikit, meskipun masih memerlukan entri serupa untuk setiap pertanyaan.

Penulis mencatat bahwa meskipun pendekatan ini menunjukkan kecepatan dan efisiensi memori, keterbatasan saat ini mencegah penskalaan ke dataset lebih besar untuk sepenuhnya memverifikasi klaim kompresi dan mitigasi pelupaan.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Retrieval & RAG Training methods

Artikel terkait

media Hugging Face Forums · 6 hari lalu

ShinBay-UCTF mengusulkan kerangka konseptual untuk pembelajaran berkelanjutan yang menjaga privasi dan pengetahuan terkompresi

K7007 menyajikan ShinBay-UCTF, sebuah kerangka konseptual yang mengatasi keterbatasan dalam sistem AI terkait redundansi multibahasa, memori episodik persisten, dan adaptasi berkelanjutan. Proposal ini menguraikan arsitektur terpadu yang terdiri dari tiga lapisan yang saling berinteraksi: Universal Compressed Training Format (UCTF), Memori Episodik Terinspirasi Biologis, dan Pembelajaran Berkelanjutan yang Didorong Lingkungan.

arxiv arXiv cs.CL · 15 hari lalu · 2 tayangan

Pengawasan kontrafaktual meningkatkan pengalihan pencarian LLM untuk Gemma dan Qwen

Para peneliti mengatasi inefisiensi model bahasa yang diperkaya dengan pencarian dengan merumuskan masalah pengalihan pencarian pada tingkat contoh yang memutuskan apakah bukti eksternal diperlukan untuk meningkatkan keberhasilan tugas. Mereka menurunkan pengawasan dengan membandingkan hasil tanpa-pencarian dan dengan-pencarian paksa untuk membangun oracle, yang berfungsi sebagai kriteria evaluasi dan sinyal pembelajaran untuk melatih kebijakan melalui penyetelan halus terawasi dan optimasi preferensi.

arxiv arXiv cs.CL · 15 hari lalu · 1 tayangan

LongCrafter menggunakan sintesis yang dipandu grafik bukti untuk meningkatkan pemahaman konteks panjang

Para penulis mengusulkan LongCrafter, sebuah kerangka kerja terstruktur untuk mensintesis data penyetelan halus pengawasan konteks panjang yang mengatasi keterbatasan cakupan tugas dan kesetiaan. Ini menggabungkan taksonomi hierarkis dari 32 jenis tugas dengan pipeline berbasis bukti untuk menghasilkan pasangan instruksi-respons yang secara ketat berlandaskan pada rentang bukti yang ditemukan.

arxiv arXiv cs.CL · 16 hari lalu

TR-RAG menggunakan RL terregularisasi guru untuk memperbaiki drift bahasa RAG lintas-bahasa

Peneliti mengusulkan TR-RAG, sebuah metode pembelajaran penguatan terregularisasi guru yang mengatasi drift bahasa dan penggunaan bukti yang tidak dapat diandalkan dalam generasi yang diperkaya pencarian lintas-bahasa dengan bukti bahasa Inggris. Pendekatan ini menggabungkan optimasi imbalan dengan distilasi on-policy, menggunakan guru beku untuk menyediakan jangkar reverse-KL per awalan untuk jawaban yang disampel oleh siswa kompak.

media r/LocalLLaMA · 6 jam lalu

SLAI T-Rex mencapai 34,22% MFU dan 71,81% Pass@1 untuk DeepSeek-V4 di Ascend

SLAI memperkenalkan T-Rex, sebuah kerangka kerja pasca-pelatihan parameter penuh untuk keluarga model DeepSeek-V4 pada infrastruktur Ascend SuperPOD. Sistem ini mengatasi tekanan memori dan overhead komunikasi dalam model MoE triliunan parameter melalui optimasi hierarkis.