github llama.cpp · baru saja · inference

llama.cpp b10643 menambahkan dukungan multi-NPU dan backend Hexagon sepenuhnya asinkron

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10643, memperkenalkan dukungan untuk perangkat multi-NPU (IQ9, IQ10) dan backend sepenuhnya asinkron untuk arsitektur Hexagon.

Backend Hexagon sekarang menggunakan buffer non-host secara default dan mengimplementasikan asinkronisitas penuh.
Dukungan untuk platform Snapdragon Android 34 ditambahkan.
Kuantisasi Q8_0 mendapatkan dukungan untuk dequantizer in-place, pipeline DMA, dan operasi baris.
Operasi ALLREDUCE dioptimalkan dengan kernel yang digabungkan dan efisiensi DMA yang ditingkatkan.
Token sinkronisasi dan mekanisme fence ditingkatkan untuk menyinkronkan perangkat NPU di antara split asinkron.

Perubahan ini memungkinkan inferensi efisien pada hardware Snapdragon multi-NPU dengan memungkinkan eksekusi perangkat konkuren dan salinan tensor yang lebih cepat.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 1 hari lalu · 1 tayangan

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).

lab OpenAI News · 2 hari lalu · 8 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.

github llama.cpp · 6 hari lalu · 14 tayangan

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.

lab Hugging Face Blog · 9 hari lalu · 6 tayangan

Alokator GPU yang sadar kendala meningkatkan utilisasi dan output berbobot prioritas melebihi FIFO

Sebuah alokator GPU yang sadar kendala diuji bandingkan dengan penjadwal FIFO di tujuh skenario, mencapai peningkatan utilisasi GPU hingga 33 poin persentase dan output berbobot prioritas hingga 105% lebih tinggi pada perangkat keras yang identik. Sistem ini memperlakukan permintaan inferensi waktu nyata sebagai kurva berfluktuasi daripada reservasi statis, memungkinkan pekerjaan seperti batch mengisi kapasitas selama titik terendah sambil menghormati kendala ketat seperti blok GPU yang kontigu dan non-preempsi.