media Hugging Face Forums · 1 jam lalu · open_models

Noah DeAngelis membangun perhatian berbasis routing eksperimental untuk model GPT

Diterjemahkan dari English → Bahasa Indonesia

Noah DeAngelis telah mengembangkan mekanisme perhatian berbasis routing eksperimental untuk model GPT, yang diimplementasikan dalam proyek PyTorch bernama RoutingGPT. Pendekatan ini menggunakan lapisan linear yang dipelajari untuk memilih subset token sebagai kunci dan nilai sambil mempertahankan semua token sebagai kueri.

Dengan rasio routing default 25%, kompleksitas berkurang dari T × T untuk perhatian padat menjadi T × 0.25T.
Tujuannya adalah mengurangi komputasi perhatian dan memungkinkan panjang konteks yang lebih panjang pada perangkat keras kelas rendah.
Proyek ini dirilis di bawah lisensi Apache 2.0 dan saat ini bersifat eksperimental tanpa benchmarking yang ketat.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Training methods

Baca aslinya

Pengukuran menunjukkan perlunya meninjau ulang q_proj/v_proj default untuk modul target LoRA

Penulis mengukur tumpang tindih subruang gradien pada empat model untuk mengevaluasi default LoRA standar yang menargetkan proyeksi kueri dan nilai. Analisis menunjukkan bahwa default ini mungkin tidak optimal ketika tujuannya adalah mempertahankan kemampuan sebelumnya daripada memaksimalkan akurasi pada tugas baru.

media Hugging Face Forums · 6 hari lalu · 13 tayangan

Prototipe SpiralCoreAttention memilih blok token untuk penyetelan halus QLoRA pada urutan panjang

Seorang pengembang meminta umpan balik mengenai SpiralCoreAttention, sebuah prototipe pemilihan konteks selama pelatihan yang bersifat eksperimental untuk penyetelan halus LLM bobot terbuka. Alih-alih memproses seluruh urutan panjang dalam setiap langkah maju dan mundur, sistem memilih blok token tertentu dari urutan tersebut untuk dilatih, sambil mengevaluasi adapter yang dihasilkan pada urutan konteks penuh yang diisolasi.

lab Hugging Face Blog · 13 hari lalu · 37 tayangan

Multiverse Computing mengurangi VRAM distilasi pengetahuan dengan kerugian KL terpotong yang digabungkan

Multiverse Computing memperkenalkan pendekatan hemat memori untuk distilasi pengetahuan model bahasa besar dengan menggabungkan kaching logit top-K offline dan kerugian divergensi Kullback-Leibler (KL) terpotong yang digabungkan. Metode ini menghilangkan kebutuhan untuk menyimpan model guru dan siswa secara bersamaan dalam memori, secara drastis mengurangi persyaratan VRAM.

media r/LocalLLaMA · 19 hari lalu · 31 tayangan

AFM3 20B Apple menggunakan pruning mengikuti instruksi untuk mengaktifkan ~20% lapisan

Apple telah memperkenalkan arsitektur baru untuk model fondasi generasi ketiganya (AFM3) yang memanfaatkan "Pruning Mengikuti Instruksi" untuk secara signifikan mengurangi jumlah parameter aktif. Model ini dirancang untuk mengaktifkan sekitar 20% dari lapisan MLP-nya dengan membuat keputusan routing sekali per prompt, bukan per token.

media Hugging Face Forums · 23 hari lalu · 35 tayangan

PIN v2 memisahkan lebar model dari biaya penyimpanan melalui pengikatan bobot

Arsitektur PIN v2 memperkenalkan metode untuk pra-memilih ukuran jaringan saraf dan kecepatan inferensi sebelum pelatihan dengan menggunakan pengikatan bobot. Teknik ini memaksa kelompok sel untuk menyimpan nilai yang identik, memungkinkan jaringan mempertahankan lebarnya sambil secara drastis mengurangi jumlah bobot yang disimpan.