media Hugging Face Forums · 1 hari lalu · sumber: 2 hari lalu · open_models

Diskusi tentang batas praktis menjalankan model 2B–7B secara lokal

Diterjemahkan dari English → Bahasa Indonesia

Artikel ini mengajukan pertanyaan mengenai kegunaan praktis dari model-model yang lebih kecil dengan bobot terbuka (2B–7B) untuk penyebaran lokal, bertanya apakah mereka menjadi cukup untuk alur kerja pribadi dibandingkan dengan model yang lebih besar.

Secara khusus, artikel ini meminta pengguna yang saat ini menjalankan model secara lokal untuk berbagi pengalaman mereka mengenai:

Konfigurasi model dan perangkat keras spesifik yang mereka gunakan.
Tugas-tugas di mana model-model kecil menunjukkan kinerja yang mengejutkan baik.
Pengaturan dunia nyata daripada angka benchmark.

Penulis menekankan keinginan untuk melihat contoh penggunaan praktis dunia nyata alih-alih metrik kinerja teoretis.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Local inference Open weights

Baca aslinya

Qwen 3.8 27B menyamai kecerdasan frontier terkini dan mengungguli model Google saat ini

Artikel tersebut menyoroti Qwen 3.8 27B sebagai tonggak penting bagi model lokal, menyatakan bahwa ia menyamai tingkat kecerdasan model frontier dari hanya beberapa bulan yang lalu. Artikel ini mengklaim model tersebut mengungguli penawaran frontier terkini Google tanpa memerlukan infrastruktur pusat data besar.

lab Hugging Face Blog · 32 hari lalu · 85 tayangan

Keadaan Model Terbuka: Pengamatan Musim Panas 2026

Sebuah laporan yang menganalisis data Hugging Face Hub dari awal 2026 mengungkapkan bahwa laboratorium Tiongkok telah melampaui laboratorium Amerika dalam ukuran model terbuka terdepan, sementara vendor perangkat keras seperti NVIDIA dan AMD mendominasi rilis repositori baru. Analisis ini menyoroti perbedaan antara kegembiraan komunitas (suka) dan adopsi nyata (unduh), dengan model kecil tetap menjadi standar praktis untuk inferensi lokal.

media r/LocalLLaMA · 36 hari lalu · 15 tayangan

Meta membuka sumber kode model perangkat Muse Glimmer

Meta telah merilis model perangkat Muse Glimmer sebagai proyek sumber terbuka. Perusahaan juga mengumumkan bahwa varian bernama Muse Spark 1.2 dijadwalkan untuk dirilis segera.

media r/LocalLLaMA · 55 hari lalu · 13 tayangan

Cactus melakukan post-training pada Gemma 4 E2B dengan probe untuk menghasilkan skor kepercayaan

Cactus telah melakukan post-training pada model Gemma 4 E2B untuk menghasilkan skor kepercayaan antara 0 dan 1 untuk setiap respons, memungkinkan pengembang mengarahkan kueri yang tidak pasti ke model cloud yang lebih besar. Tim mencapai hal ini dengan menambahkan lapisan probe ringan berukuran 68k parameter yang membaca keadaan tersembunyi perantara selama decoding untuk memprediksi probabilitas kesalahan.

github llama.cpp · 3 jam lalu · 4 tayangan

llama.cpp b10982 menambahkan dukungan Vulkan sparse Flash Attention untuk DSV4/GLM

Proyek llama.cpp telah merilis build b10982, yang memperkenalkan dukungan untuk sparse Flash Attention melalui backend Vulkan. Pembaruan ini secara khusus menargetkan model DSV4 dan GLM, memungkinkan mereka memanfaatkan mekanisme perhatian jarang pada perangkat keras GPU yang kompatibel.