media Hugging Face Forums · 3 hari lalu · open_models

Pengembang membangun LM bigram 842kb, 107k-parameter untuk inferensi browser

Diterjemahkan dari English → Bahasa Indonesia

Seorang pengembang telah membuat model bahasa yang sangat kecil dengan file bobot 842KB dan 107.776 parameter menggunakan subkata bigram. Model ini dirancang untuk berjalan langsung di browser dan dilatih pada korpus campuran yang mendukung generasi cerita pendek.

Model tersebut hanya berbobot 842KB dan berisi 107.776 parameter.
Ia memanfaatkan token bigram untuk mengeja kata-kata secara individual daripada menghubungkannya.
Data pelatihan dibobot ke arah cerita-cerita kecil, meskipun korpusnya campuran.
Temuan penelitian didokumentasikan di Zenodo di bawah "Phasor-Face Transformers (PrismFormer)".

Penulis bertujuan untuk menyempurnakan model tersebut dalam beberapa hari ke depan untuk meningkatkan kualitas outputnya dalam menghasilkan narasi pendek.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency Open weights

Baca aslinya

Tencent merilis checkpoint Simple Attention Sparsification untuk Qwen3

Tencent telah merilis checkpoint Simple Attention Sparsification (SAS) yang belajar meranking dan memilih blok KV untuk setiap kueri dalam model Qwen3. Berbeda dengan metode yang mendistilasi skor perhatian padat, SAS menambahkan gerbang kontinu ke blok yang dipilih, memungkinkan optimisasi end-to-end dari perankingan konteks dengan kerugian pemodelan bahasa.

media AI News (smol.ai) · 3 hari lalu · 15 tayangan

DeepSeek meluncurkan V4.1-Flash, model bobot terbuka yang berfokus pada efisiensi inferensi ekstrem

DeepSeek telah merilis V4.1-Flash, model unggulan bobot terbuka baru yang dirancang untuk efisiensi inferensi ekstrem dan biaya rendah. Model ini memanfaatkan arsitektur encoder-decoder kausal untuk secara signifikan mengurangi komputasi aktif dan biaya KV/cache.

media Latent Space · 3 hari lalu · 8 tayangan

DeepSeek merilis v4.1-Flash dengan arsitektur 763B-P8B-D16B untuk inferensi efisien

DeepSeek telah meluncurkan DeepSeek v4.1-Flash, model unggulan bobot terbuka baru yang menampilkan arsitektur kausal encoder-decoder novel yang dirancang untuk memaksimalkan efisiensi inferensi dan mengurangi biaya.

media MarkTechPost · 5 hari lalu · 22 tayangan

DeepSeek merilis DeepSeek-V4.1-Flash dengan konteks 1M dan cache KV FP4

DeepSeek AI telah merilis DeepSeek-V4.1-Flash, sebuah model Mixture-of-Experts multimodal yang dilengkapi jendela konteks 1 juta token dan cache KV FP4 yang mengurangi jejak cache global menjadi 890 byte per token. Model ini memanfaatkan arsitektur encoder-decoder kausal dan Compressed Sparse Attention 2 (CSA2) untuk secara signifikan menurunkan kebutuhan memori sambil mempertahankan kinerja.

media r/LocalLLaMA · 12 hari lalu · 77 tayangan

IFM merilis K2-Horizon-MoVA-36B-A4B, model MoE jarang dengan 4B parameter aktif

IFM telah merilis checkpoint akhir untuk K2-Horizon-MoVA-36B-A4B, sebuah model Mixture-of-Experts yang menampilkan perhatian Mixture-of-Values yang menyimpan 36B parameter tetapi menjalankan hanya 4B per token. Rilis ini mencakup format GGUF dan tautan ke varian lebih kecil dalam keluarga K2-Horizon.