media r/LocalLLaMA · 12 jam lalu · open_models

Percepta memperkenalkan arsitektur Spotlight dengan memori tak terbatas

Diterjemahkan dari English → Bahasa Indonesia

Percepta telah memperkenalkan arsitektur jaringan saraf baru bernama Spotlight, yang menggantikan mekanisme perhatian tradisional dengan sistem memori yang dapat ditulis dan tak terbatas. Desain ini memungkinkan pengetahuan dan keterampilan model berkembang tanpa memerlukan perubahan pada bobot model atau peningkatan biaya akses per token.

Spotlight memisahkan modul kecerdasan untuk komputasi dari memori yang menyimpan pengetahuan dan prosedur.
Arsitekturnya secara arbitrer jarang (sparse), memungkinkan fraksi memori yang digunakan menyusut seiring bertambahnya kapasitas.
Model memutuskan apa yang akan dimuat dan ditimpa token demi token, mengaktifkan kemampuan baru tanpa pelatihan ulang.
Berbeda dengan model mixture-of-experts, Spotlight menyentuh sejumlah kecil sel terlepas dari ukuran total memori.

Pemisahan ini memungkinkan modul kecerdasan tetap berukuran tetap sementara memori meluas, secara teoritis memungkinkan memori yang tumbuh tak terbatas tanpa meningkatkan overhead komputasi selama akses.

Kepentingan 2/3 r/LocalLLaMA Perplexity Research paper

Artikel terkait

lab NVIDIA Research · 2 hari lalu · 12 tayangan

Mid-Harness meningkatkan keandalan aksi agen terminal melalui penskalaan komputasi saat pengujian

Para peneliti memperkenalkan Mid-Harness, sebuah metode yang melakukan sampling dan verifikasi kandidat aksi pada batas model-harness untuk meningkatkan keandalan eksekusi pada agen terminal. Pendekatan ini mengalokasikan komputasi saat pengujian dengan memverifikasi beberapa opsi sebelum meneruskan satu untuk dieksekusi, menjaga generator dan harness tetap tidak berubah.

arxiv arXiv cs.LG · 2 hari lalu · 1 tayangan

Pangram Labs menemukan bahwa teks AI liar merugikan pra-pelatihan dan mengusulkan hukum penskalaan baru

Sebuah studi Pangram Labs mengenai teks web yang dihasilkan AI "liar" mengungkapkan bahwa menambahkan token tersebut ke data pra-pelatihan awalnya menurunkan loss pada teks manusia tetapi dengan cepat berubah menjadi kerugian saat rasionya meningkat. Para peneliti melatih 800 model bahasa untuk menurunkan hukum penskalaan baru yang memperhitungkan dinamika ini, yang gagal diprediksi oleh hukum yang ada seperti Chinchilla.

media Hugging Face Forums · 2 hari lalu · 5 tayangan

Trail mengusulkan lapisan epistemologi berbasis replikabilitas untuk mencegah halusinasi AI

Simon Abayomi Olawuyi memperkenalkan Trail, sebuah lapisan epistemologi yang dirancang untuk mengatasi masalah halusinasi struktural dalam model bahasa besar dengan memberlakukan replikabilitas sebagai standar untuk pengetahuan yang disimpan.

arxiv arXiv cs.CL · 2 hari lalu · 8 tayangan

Pangram Labs menemukan bahwa teks AI liar merugikan pra-pelatihan dan mengusulkan hukum penskalaan baru

Sebuah studi Pangram Labs terhadap 800 model bahasa yang telah dilatih sebelumnya mengungkapkan bahwa teks web yang dihasilkan AI "liar", yang kini mencakup lebih dari 31% dari data web terbaru, berdampak negatif pada kinerja model ketika tujuannya adalah memproses teks manusia. Penelitian ini menunjukkan bahwa meskipun jumlah kecil token AI dapat membantu model yang kekurangan data pada awalnya, dampaknya dengan cepat berubah menjadi merugikan seiring meningkatnya proporsinya.

media MarkTechPost · 3 hari lalu · 10 tayangan

Perplexity merilis Photon, memangkas latensi p99 pengambilan dari 800 ms menjadi 65 ms

Perplexity telah merilis Photon, mesin pengambilan dan pemeringkatan berbasis Rust dalam rumah yang kini menangani semua lalu lintas produksi, menggantikan komponen sumber terbuka yang sebelumnya di-fork. Sistem baru ini mengaktifkan mode "Pencarian Cepat" di Perplexity Search API, menawarkan latensi yang jauh lebih rendah untuk alur kerja agentic.