github llama.cpp · 1 jam lalu · inference

llama.cpp b11440 memesan ulang penjadwal ketika flag ekstraksi NextN berubah

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b11440, yang mencakup perbaikan untuk inisialisasi MTP spekulatif. Pembaruan memastikan penjadwal dipesan ulang ketika flag ekstraksi NextN berubah, mencegah masalah dengan ekstraksi tanpa masker.

Inisialisasi MTP spekulatif sekarang mengaktifkan ekstraksi NextN pada konteks target dan draf setelah pembuatan.
Grafik trunk menyimpan setiap token hingga lapisan terakhir alih-alih memotong ke baris output.
Meminvalidasi reservasi ketika flag berubah memungkinkan komputasi berikutnya memesan ulang dengan bentuk grafik baru.
Binari tersedia untuk macOS, Linux, Windows, Android, dan iOS melalui backend CPU, GPU, dan NPU.

Perubahan ini mencegah kesalahan GGML_SCHED_DEBUG_REALLOC dengan memastikan alokasi bentuk batch yang benar selama dekoding.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11413 menambahkan perhatian flash sparse Vulkan untuk K/V terkuantisasi

Rilis b11413 dari llama.cpp memperkenalkan implementasi baru perhatian flash sparse Vulkan yang mendukung tensor Key dan Value terkuantisasi. Pembaruan ini mengatasi masalah kinerja dalam metode kompresi sebelumnya, yang terlalu mahal untuk tugas dekoding dengan jendela konteks besar.

github llama.cpp · 1 hari lalu · 20 tayangan

webgpu menambahkan dukungan MMVQ untuk Q1_0/Q5_0/Q5_1/Q3_K/Q5_K/Q6_K/MXFP4

Komponen webgpu telah menambahkan dukungan untuk format MMVQ (Multi-Mode Vector Quantization), khususnya Q1_0, Q5_0, Q5_1, Q3_K, Q5_K, Q6_K, dan MXFP4.

media Hugging Face Forums · 2 hari lalu · 26 tayangan

Eqx-zoo menyediakan port Equinox terverifikasi dari model-model Hugging Face

Penulis telah membangun eqx-zoo, sebuah library yang memuat checkpoint Hugging Face Hub langsung sebagai modul plain Equinox dan memverifikasi setiap model terhadap library transformers. Proyek ini saat ini mendukung Llama, Qwen2, Qwen3, Qwen3-MoE untuk generasi, dan BERT, RoBERTa, XLM-RoBERTa untuk embedding.

media Hugging Face Forums · 5 hari lalu · 27 tayangan

AiiStream Q3.6 memungkinkan menjalankan Qwen3.6-35B-A3B di Mac dengan RAM 8-16 GB

Penulis telah merilis AiiStream Q3.6, sebuah teknik sumber terbuka yang memungkinkan model Qwen3.6-35B-A3B berjalan pada perangkat Apple Silicon dengan hanya 8 hingga 16 GB RAM. Dengan menyimpan ahli yang dialihkan di SSD dan menggunakan prediksi pemuatan awal, metode ini mengurangi penggunaan memori MLX menjadi sekitar 1,7 GB sambil mempertahankan output yang identik tingkat byte dibandingkan implementasi standar mlx_lm.

github llama.cpp · 6 hari lalu · 36 tayangan

llama.cpp b11307 mempertahankan urutan batch untuk decoding spekulatif

Proyek llama.cpp merilis build b11307, yang memperbaiki urutan input lapisan untuk mempertahankan urutan batch asli selama decoding spekulatif. Perubahan ini memastikan bahwa urutan token dipertahankan dengan benar untuk embedding NextN yang tidak dimask dan kompatibel dengan pemisahan tensor.