github llama.cpp · baru saja · inference

llama.cpp b10792 memperbaiki generasi tata bahasa GBNF untuk skema objek kosong

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10792, yang mencakup perbaikan untuk generasi tata bahasa GBNF yang secara khusus menangani masalah dengan skema objek kosong.

Rilis ini menyediakan biner dan kerangka kerja untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64, arm64, s390x), Android, Windows, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, Vulkan, ROCm, OpenVINO, SYCL, dan OpenCL.

Pembaruan ini memastikan generasi tata bahasa yang benar untuk skema objek kosong dalam GBNF.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10791 menambahkan optimasi OpenCL quant lm_head dan decode GEMV

Proyek llama.cpp merilis versi b10791, memperkenalkan optimasi OpenCL yang signifikan untuk kepala model bahasa terkuantisasi dan operasi decoding GEMV. Pembaruan ini juga mencakup peningkatan GEMM batch-menengah yang relevan dengan decoding spekulatif dan prediksi multi-token.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp b10790 menyetel persilangan MMVQ ke MMQ untuk SM87

Proyek llama.cpp telah merilis build b10790, yang mencakup penyetelan spesifik dari persilangan MMVQ ke MMQ untuk SM87.

media r/LocalLLaMA · 7 jam lalu · 1 tayangan

IFM merilis K2-Horizon-MoVA-36B-A4B, model MoE jarang dengan 4B parameter aktif

IFM telah merilis checkpoint akhir untuk K2-Horizon-MoVA-36B-A4B, sebuah model Mixture-of-Experts yang menampilkan perhatian Mixture-of-Values yang menyimpan 36B parameter tetapi menjalankan hanya 4B per token. Rilis ini mencakup format GGUF dan tautan ke varian lebih kecil dalam keluarga K2-Horizon.

github llama.cpp · 9 jam lalu · 2 tayangan

llama.cpp menambahkan dukungan sparse flash attention untuk prefill Metal

Proyek llama.cpp telah memperkenalkan dukungan sparse flash attention (FA) untuk backend Metal, yang secara khusus menargetkan fase prefill dari inferensi model. Pembaruan ini mencakup kernel baru yang memadatkan entri mask hingga ke daftar indeks per-baris dan memperluas kernel FA vektor dengan pengumpulan indeks sparse opsional.

github llama.cpp · 10 jam lalu · 2 tayangan

llama.cpp b10782 memperbaiki optimisasi grafik CUDA untuk multi-GPU

Proyek llama.cpp merilis build b10782, yang menangani masalah kritis di backend CUDA untuk pengaturan multi-GPU. Pembaruan ini memungkinkan stream konkuren per split dan mengaktifkan optimisasi grafik CUDA agar berjalan dengan benar di beberapa perangkat.