media r/LocalLLaMA · 73 hari lalu · open_models

Apple rencanakan chip M7 Ultra dengan memori terpadu hingga 1,5 TB

Diterjemahkan dari English → Bahasa Indonesia

Apple dikabarkan sedang merencanakan chip M7 Ultra yang akan mendukung hingga 1,5 TB memori terpadu.

Spesifikasi yang direncanakan menyoroti peningkatan signifikan dalam kapasitas memori untuk silikon Apple di masa depan.

Kepentingan 1/3 r/LocalLLaMA Apple ML Hardware & chips

Baca aslinya

Mac dengan Apple M5: kecocokan model terbuka dihitung dari spesifikasi

Artikel ini menghitung model bahasa besar terbuka mana yang muat di Mac seri Apple M5 baru (Mac mini, Mac Studio) dengan menganalisis batasan memori alih-alih menjalankan benchmark. Kapasitas ditentukan berdasarkan ukuran file GGUF Q4_K_M, kebutuhan cache KV, dan overhead runtime terhadap GPU memory yang dapat digunakan.

arxiv arXiv cs.CL · 82 hari lalu · 10 tayangan

BaseRT menghadirkan inferensi LLM kelas terbaik di Apple Silicon melalui Metal asli

Para peneliti menyajikan BaseRT, runtime inferensi Metal asli untuk model bahasa besar di Apple Silicon yang mencapai throughput inferensi tertinggi yang pernah dilaporkan hingga saat ini. Dengan memanfaatkan fusi kernel spesifik chip dan optimasi yang sadar memori terpadu, BaseRT mengatasi overhead yang ditemukan dalam framework yang ada seperti llama.cpp dan MLX.

github llama.cpp · 5 jam lalu · 4 tayangan

llama.cpp b11160 menambahkan matmul coopmat1 int8 untuk AMD RDNA3/4 dan dukungan IQ4_XS

Proyek llama.cpp merilis versi b11160, memperkenalkan implementasi matriks kooperatif int8 (coopmat1) untuk Vulkan pada arsitektur AMD RDNA3 dan RDNA4. Pembaruan ini mencakup shader khusus yang probing nilai coopmat secara langsung untuk meningkatkan kinerja.

media Latent Space · 11 jam lalu · 1 tayangan

Meta Connect 2026 memperkenalkan agen pribadi Muse, kacamata VR, dan gantungan kunci Charm

Pada Meta Connect 2026, Meta mempresentasikan agen pribadinya Muse sebagai pusat strategi perangkat keras-plus-agen, memperkenalkan fitur dan perangkat baru sambil mengisyaratkan model frontier di masa depan. Perusahaan menampilkan kemampuan Muse yang diperluas, termasuk interaksi suara dan video real-time, bersama dengan perangkat keras baru seperti kacamata VR dan gantungan kunci Charm.

media r/LocalLLaMA · 1 hari lalu · 10 tayangan

Apple merilis LensVLM-9B, sebuah VLM yang secara selektif memperluas gambar teks terkompresi

Apple telah merilis LensVLM-9B, sebuah Model Bahasa Visual dengan 9 miliar parameter yang dirancang untuk memproses gambar teks terkompresi lebih efisien. Model ini memindai input terkompresi tersebut dan menggunakan alat-alat yang dipelajari untuk secara selektif memperluas hanya halaman-halaman relevan ke bentuk tidak terkompresinya.