Semua artikel
media Hugging Face Forums · 3 hari lalu

Arsitektur Konteks Generasional: Menyelesaikan Rotasi Konteks LLM

Arsitektur Konteks Generasional (GCA) mengusulkan untuk memperlakukan jendela konteks LLM sebagai masa hidup yang terbatas, bukan penyimpanan tak terbatas, guna menyelesaikan "rotasi konteks" dan pengenceran perhatian dalam sistem multi-agen. Dengan menerapkan mortalitas buatan, agen diakhiri sebelum kinerjanya menurun, meneruskan keadaan mereka ke generasi baru melalui brankas Markdown file datar.

media Hugging Face Forums · 3 hari lalu

Menjelajahi Rezim Fungsional di Dalam Model Bahasa Kecil

Proyek penelitian independen ini mengkarakterisasi dinamika internal dari tujuh model bahasa berukuran kecil dan menengah dengan menganalisis bagaimana representasi tersembunyi berevolusi selama inferensi, alih-alih mengandalkan benchmark output standar. Studi ini menyelidiki perilaku dinamis, organisasi fungsional, dan geometri representasi untuk mengidentifikasi pola yang dapat direproduksi di berbagai arsitektur.