media Hugging Face Forums · baru saja · open_models

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

Diterjemahkan dari English → Bahasa Indonesia

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

Platform mencakup NXP i.MX 8M Plus, i.MX 95, Ara240, Raspberry Pi 5 dengan Hailo-8L, Jetson Orin Nano, Qualcomm Hexagon, Apple Neural Engine, dan referensi x86/Arm/CUDA.
Pipa ini menjalankan seluruh dataset COCO val2017 di perangkat, menghasilkan predictions.parquet, trace.pftrace, dan metrics.yaml untuk masing-masing dari 837 sesi.
Throughput terukur memperhitungkan tumpang tindih tahap antar bingkai, mengungkap hambatan seperti batas pasca-pemrosesan daripada kendala NPU.

Pendekatan ini memungkinkan pengguna menghitung ulang metrik hanya dari file Parquet dan memeriksa jejak pipa terperinci untuk memahami karakteristik kinerja pada perangkat tepi tertentu.

Kepentingan 1/3 Kerangka evaluasi baru dengan pembeda Kepercayaan 1/3 Hugging Face Forums Hugging Face Hardware & chips Inference efficiency

Artikel terkait

github llama.cpp · 22 hari lalu · 10 tayangan

llama.cpp b10255 memperluas SDPA oneDNN ke cache KV non-FP16

Rilis llama.cpp b10255 memperluas jalur SDPA oneDNN untuk mendukung cache kunci-nilai (KV) non-FP16, termasuk format kuantisasi Q4_0–Q8_0 dan FP32. Pembaruan ini memungkinkan kernel sistolik terpadu berjalan secara identik dengan jalur FP16 asli dengan melakukan dekuantisasi atau mengonversi tensor K/V ke FP16 padat di perangkat sebelum diproses.

media r/LocalLLaMA · 52 hari lalu · 8 tayangan

llama.cpp menggunakan hipBLAS untuk prefill padat pada GPU gfx900

Sebuah pull request ke repositori llama.cpp memperkenalkan perubahan yang memanfaatkan hipBLAS untuk operasi prefill padat pada GPU arsitektur AMD gfx900. Modifikasi ini secara khusus ditargetkan pada perangkat keras GPU Vega lama, termasuk model seperti Radeon RX Vega 56/64 dan seri Radeon Pro Vega.

github llama.cpp · 17 jam lalu · 1 tayangan

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).

lab OpenAI News · 20 jam lalu · 6 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.

lab Hugging Face Blog · 23 jam lalu · 1 tayangan

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.