github llama.cpp · baru saja · inference

llama.cpp b10675 menambahkan dukungan hoisting untuk ID baris dan jumlah ahli dalam shader

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10675, yang mencakup pembaruan kunci pada backend Vulkan-nya. Rilis ini menambahkan dukungan hoisting untuk ID baris dan jumlah ahli di dalam kode shader.

Implementasi menggunakan ID baris yang di-hoist di coopmat2.
Ini menanggapi umpan balik tinjauan mengenai count_experts dengan menggunakan vk_op_count_experts_push_constants alih-alih vektor uint mentah.
Trik fastdiv diterapkan pada operasi div/mod ne00 dalam count_experts.
Offset per ahli dihitung dengan subgroupExclusiveAdd di mana didukung, mempertahankan jalur serial sebagai fallback.

Pembaruan ini menyediakan build Vulkan yang dioptimalkan untuk macOS, Linux, Windows, dan Android di berbagai backend perangkat keras termasuk CUDA, ROCm, dan OpenCL.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

llama.cpp menambahkan penyetelan fa-vec untuk Apple M4 Pro

Proyek llama.cpp telah menambahkan penyetelan vektor perhatian cepat (fa-vec) untuk GPU Apple M4 Pro melalui kontribusi backend Metal baru. Pembaruan ini mengikuti pekerjaan sebelumnya untuk mendukung GPU Apple tambahan dan dihasilkan menggunakan alat `ggml-metal-tuning` pada MacBook Pro 14 inci dari November 2024.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10643 menambahkan dukungan multi-NPU dan backend Hexagon sepenuhnya asinkron

Proyek llama.cpp merilis versi b10643, memperkenalkan dukungan untuk perangkat multi-NPU (IQ9, IQ10) dan backend sepenuhnya asinkron untuk arsitektur Hexagon.

media Hugging Face Forums · 2 hari lalu · 4 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).

lab OpenAI News · 3 hari lalu · 13 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.