github llama.cpp · baru saja · inference

llama.cpp menambahkan penyetelan fa-vec untuk Apple M4 Pro

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah menambahkan penyetelan vektor perhatian cepat (fa-vec) untuk GPU Apple M4 Pro melalui kontribusi backend Metal baru. Pembaruan ini mengikuti pekerjaan sebelumnya untuk mendukung GPU Apple tambahan dan dihasilkan menggunakan alat `ggml-metal-tuning` pada MacBook Pro 14 inci dari November 2024.

Proses penyetelan berjalan sukses dalam 1 jam, 13 menit, dan 1 detik tanpa beban sistem lainnya.
Kontribusi ini mendukung tipe data f16 dan q8_0 untuk arsitektur M4 Pro.
Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, ROCm, OpenVINO, SYCL), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hardware & chips Inference efficiency

Baca aslinya

llama.cpp b10643 menambahkan dukungan multi-NPU dan backend Hexagon sepenuhnya asinkron

Proyek llama.cpp merilis versi b10643, memperkenalkan dukungan untuk perangkat multi-NPU (IQ9, IQ10) dan backend sepenuhnya asinkron untuk arsitektur Hexagon.

media Hugging Face Forums · 2 hari lalu · 4 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 3 hari lalu · 2 tayangan

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).

lab OpenAI News · 3 hari lalu · 13 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.

github llama.cpp · 7 hari lalu · 16 tayangan

llama.cpp b10534 menambahkan titik sakelar per-HW CUDA untuk decode lebih cepat

Proyek llama.cpp merilis build b10534, yang memperkenalkan titik sakelar spesifik perangkat keras untuk menyetel crossover antara jalur vektor dan inti tensor selama decoding terkuantisasi pada CUDA.