github llama.cpp · 1 jam lalu · inference

llama.cpp b10790 menyetel persilangan MMVQ ke MMQ untuk SM87

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10790, yang mencakup penyetelan spesifik dari persilangan MMVQ ke MMQ untuk SM87.

Pembaruan ini menyediakan binaris pra-bangun di berbagai platform dan konfigurasi perangkat keras. Bangun yang tersedia mencakup macOS Apple Silicon dan Intel, Linux (Ubuntu) dengan dukungan CPU, Vulkan, ROCm 10.0, OpenVINO, dan SYCL, serta bangun Windows yang menampilkan dukungan CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, dan ROCm 10.0. Rilis tambahan mencakup Android arm64, iOS XCFramework, dan arsitektur openEuler x86/aarch64.

Rilis ini juga mencakup paket UI standar llama.cpp untuk semua sistem operasi yang didukung.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

IFM merilis K2-Horizon-MoVA-36B-A4B, model MoE jarang dengan 4B parameter aktif

IFM telah merilis checkpoint akhir untuk K2-Horizon-MoVA-36B-A4B, sebuah model Mixture-of-Experts yang menampilkan perhatian Mixture-of-Values yang menyimpan 36B parameter tetapi menjalankan hanya 4B per token. Rilis ini mencakup format GGUF dan tautan ke varian lebih kecil dalam keluarga K2-Horizon.

github llama.cpp · 8 jam lalu · 1 tayangan

llama.cpp menambahkan dukungan sparse flash attention untuk prefill Metal

Proyek llama.cpp telah memperkenalkan dukungan sparse flash attention (FA) untuk backend Metal, yang secara khusus menargetkan fase prefill dari inferensi model. Pembaruan ini mencakup kernel baru yang memadatkan entri mask hingga ke daftar indeks per-baris dan memperluas kernel FA vektor dengan pengumpulan indeks sparse opsional.

github llama.cpp · 9 jam lalu · 2 tayangan

llama.cpp b10782 memperbaiki optimisasi grafik CUDA untuk multi-GPU

Proyek llama.cpp merilis build b10782, yang menangani masalah kritis di backend CUDA untuk pengaturan multi-GPU. Pembaruan ini memungkinkan stream konkuren per split dan mengaktifkan optimisasi grafik CUDA agar berjalan dengan benar di beberapa perangkat.

github llama.cpp · 10 jam lalu · 1 tayangan

llama.cpp b10780 meningkatkan API SYCL untuk mendukung salin peer-to-peer

Proyek llama.cpp telah merilis versi b10780, yang mencakup peningkatan spesifik pada backend SYCL. Pembaruan ini memodifikasi API untuk mengaktifkan kemampuan salin peer-to-peer untuk perangkat SYCL.

github llama.cpp · 11 jam lalu · 2 tayangan

llama.cpp b10781 memperbaiki keterlibatan jalur dekuantisasi Vulkan FA

Proyek llama.cpp merilis build b10781, yang mencakup perbaikan untuk jalur dekuantisasi perhatian cepat (FA) Vulkan. Pembaruan ini mengatasi masalah di mana shader memeriksa `nb[3]` secara salah bahkan ketika `ne[3] == 1`, menyebabkan jalur tersebut hanya aktif ketika cache penuh.