Semua artikel
media Hugging Face Forums · 3 hari lalu

Arsitektur Konteks Generasional: Menyelesaikan Rotasi Konteks LLM

Arsitektur Konteks Generasional (GCA) mengusulkan untuk memperlakukan jendela konteks LLM sebagai masa hidup yang terbatas, bukan penyimpanan tak terbatas, guna menyelesaikan "rotasi konteks" dan pengenceran perhatian dalam sistem multi-agen. Dengan menerapkan mortalitas buatan, agen diakhiri sebelum kinerjanya menurun, meneruskan keadaan mereka ke generasi baru melalui brankas Markdown file datar.

media Hugging Face Forums · 4 hari lalu

Menjelajahi Rezim Fungsional di Dalam Model Bahasa Kecil

Proyek penelitian independen ini mengkarakterisasi dinamika internal dari tujuh model bahasa berukuran kecil dan menengah dengan menganalisis bagaimana representasi tersembunyi berevolusi selama inferensi, alih-alih mengandalkan benchmark output standar. Studi ini menyelidiki perilaku dinamis, organisasi fungsional, dan geometri representasi untuk mengidentifikasi pola yang dapat direproduksi di berbagai arsitektur.

media Hugging Face Forums · 4 hari lalu

HoLo-ToLk: Model Ucapan Tanpa Tokenizer pada Substrat HSL 0-Parameter

Penulis memperkenalkan HoLo-ToLk, sebuah proyek penelitian yang membangun model ucapan-ke-teks (STT) dan teks-ke-ucapan (TTS) menggunakan substrat byte HSL nol-parameter tanpa tokenizer atau embedding input yang dipelajari. Karya ini menunjukkan bahwa byte HSL mentah dapat berfungsi sebagai sinyal yang layak untuk pemrosesan audio ketika digabungkan dengan modifikasi arsitektur spesifik.