github llama.cpp · 1 jam lalu · inference

llama.cpp b11450 menambahkan dukungan tensor RPC dan memperbaiki flush Apple RDMA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11450, memperkenalkan peningkatan panggilan prosedur jarak jauh (RPC) dan perbaikan bug spesifik platform. Pembaruan ini memungkinkan flag `-sm tensor` untuk operasi RPC dan menyelesaikan masalah flush yang memengaruhi implementasi Apple RDMA.

Menambahkan dukungan untuk argumen `-sm tensor` dalam konfigurasi RPC.
Memperbaiki perilaku flush data untuk sistem Apple RDMA.
Memindahkan graph_uids ke modul rpc_dispatcher.
Menghentikan putaran tidak perlu pada thread dispatcher.
Meningkatkan nomor versi mayor RPC.
Menyediakan biner untuk macOS, Linux, Windows, Android, dan openEuler melalui backend CPU, GPU, dan NPU.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11440 memesan ulang penjadwal ketika flag ekstraksi NextN berubah

Proyek llama.cpp merilis versi b11440, yang mencakup perbaikan untuk inisialisasi MTP spekulatif. Pembaruan memastikan penjadwal dipesan ulang ketika flag ekstraksi NextN berubah, mencegah masalah dengan ekstraksi tanpa masker.

github llama.cpp · 1 hari lalu · 21 tayangan

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 2 hari lalu · 22 tayangan

webgpu menambahkan dukungan MMVQ untuk Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

Komponen webgpu telah menambahkan dukungan untuk format MMVQ (Multi-Mode Vector Quantization), khususnya Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K, dan MXFP4.

media Hugging Face Forums · 2 hari lalu · 27 tayangan

Eqx-zoo menyediakan port Equinox terverifikasi dari model-model Hugging Face

Penulis telah membangun eqx-zoo, sebuah library yang memuat checkpoint Hugging Face Hub langsung sebagai modul plain Equinox dan memverifikasi setiap model terhadap library transformers. Proyek ini saat ini mendukung Llama, Qwen2, Qwen3, Qwen3-MoE untuk generasi, dan BERT, RoBERTa, XLM-RoBERTa untuk embedding.

media Hugging Face Forums · 5 hari lalu · 28 tayangan

AiiStream Q3.6 memungkinkan menjalankan Qwen3.6-35B-A3B di Mac dengan RAM 8-16 GB

Penulis telah merilis AiiStream Q3.6, sebuah teknik sumber terbuka yang memungkinkan model Qwen3.6-35B-A3B berjalan pada perangkat Apple Silicon dengan hanya 8 hingga 16 GB RAM. Dengan menyimpan ahli yang dialihkan di SSD dan menggunakan prediksi pemuatan awal, metode ini mengurangi penggunaan memori MLX menjadi sekitar 1,7 GB sambil mempertahankan output yang identik tingkat byte dibandingkan implementasi standar mlx_lm.