github llama.cpp · 2 jam lalu · inference

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).

Menambahkan Apple RDMA sebagai opsi transportasi RPC.
Menghapus mikro-optimisasi set_tensor dan penambatan soket RPC per CR.
Menghapus fungsi reconnect transparan.
Mengonfigurasi CI untuk memicu build Apple pada perubahan RPC.
Menyediakan biner untuk macOS, iOS, Linux, Windows, Android, dan openEuler melalui CPU, GPU, dan backend perangkat keras khusus.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.

github llama.cpp · 5 hari lalu · 13 tayangan

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.

lab Hugging Face Blog · 8 hari lalu · 5 tayangan

Alokator GPU yang sadar kendala meningkatkan utilisasi dan output berbobot prioritas melebihi FIFO

Sebuah alokator GPU yang sadar kendala diuji bandingkan dengan penjadwal FIFO di tujuh skenario, mencapai peningkatan utilisasi GPU hingga 33 poin persentase dan output berbobot prioritas hingga 105% lebih tinggi pada perangkat keras yang identik. Sistem ini memperlakukan permintaan inferensi waktu nyata sebagai kurva berfluktuasi daripada reservasi statis, memungkinkan pekerjaan seperti batch mengisi kapasitas selama titik terendah sambil menghormati kendala ketat seperti blok GPU yang kontigu dan non-preempsi.

media r/LocalLLaMA · 9 hari lalu · 19 tayangan

NVIDIA melayani Qwen 3.8 2.4T di GB300 NVL72 pada 4K tok/s per GPU

NVIDIA telah mendemonstrasikan layanan model parameter Qwen 3.8 2.4T dengan kemampuan penalaran yang dapat dikonfigurasi pada platform perangkat keras GB300 NVL72-nya.

github llama.cpp · 18 hari lalu · 15 tayangan

llama.cpp b10306 menambahkan jalur datar GLU SYCL dan mengonsolidasikan kernel

Rilis llama.cpp b10306 memperkenalkan optimasi kinerja untuk backend SYCL, khususnya menargetkan operasi Gated Linear Unit (GLU). Pembaruan ini menambahkan jalur cepat kontigu untuk operasi GLU terpadu dan mengonsolidasikan kernel yang sebelumnya berbeda agar berbagi peluncur bersama.