lab NVIDIA Research · baru saja · research

Onyx mencapai biaya lebih rendah 1,7-9,9x dan latensi lebih rendah 2,3-12,3x untuk pencarian ANN disk-oblivious

Diterjemahkan dari English → Bahasa Indonesia

Peneliti mengusulkan Onyx, pendekatan hemat biaya untuk pencarian tetangga terdekat aproksimasi (ANN) disk-oblivious yang menyeimbangkan bandwidth dan jumlah akses dengan membalik desain sistem ORAM-ANN terkini.

Onyx memperkenalkan dua komponen yang dirancang bersama: Onyx-ANNS menggunakan representasi perantara kompak untuk memangkas akses intensif bandwidth tanpa mengurangi recall, sementara Onyx-ORAM menerapkan desain pohon dangkal yang sadar lokalisasi untuk mengurangi jumlah akses. Pendekatan ini meminimalkan konsumsi bandwidth di lapisan ANN dan jumlah akses di lapisan ORAM, mengatasi pemanfaatan berlebihan sumber daya SSD yang ditemukan dalam desain sebelumnya.

Dibandingkan dengan sistem pencarian ANN disk-oblivious yang ada, Onyx mencapai biaya lebih rendah 1,7−9,9× dan latensi lebih rendah 2,3−12,3×.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research NVIDIA Hardware & chips Inference efficiency

Baca aslinya

NVIDIA merilis GPIR untuk pengambilan informasi pribadi yang dipercepat GPU

Peneliti dari NVIDIA telah memperkenalkan GPIR, sebuah sistem yang mempercepat Private Information Retrieval (PIR) pada GPU dengan mengatasi komputasi sisi server dan lalu lintas memori tinggi yang melekat pada protokol berbasis kisi. Sistem ini menggunakan model eksekusi hibrida sadar tahap yang secara dinamis beralih antara kernel tingkat operasi dan tingkat tahap untuk memaksimalkan penggunaan kembali data di dalam chip.

lab NVIDIA Research · baru saja · 1 tayangan Langsung

NVIDIA mengkarakterisasi kinerja dan biaya MPC serta FHE untuk PPML

Sebuah studi baru menyajikan karakterisasi terpadu tingkat sistem dari komputasi multipartai aman (MPC) dan enkripsi homomorfik sepenuhnya (FHE) untuk inferensi pembelajaran mesin yang melestarikan privasi. Pekerjaan ini mengevaluasi dua varian MPC — konversi pembagian aritmatika/biner dan pembagian rahasia fungsi — bersama dengan FHE di berbagai model CNN dan Transformer.

media Together AI Blog · 1 hari lalu · 3 tayangan

Together AI mengoptimalkan GEMM ThunderKittens untuk NVIDIA Vera Rubin NVL72

Tim kernel di Together AI telah mengoptimalkan pustaka ThunderKittens untuk memanfaatkan fitur baru di platform NVIDIA Vera Rubin NVL72, khususnya menargetkan peningkatan kinerja untuk perkalian matriks NVFP4 dan FP8.

arxiv arXiv cs.LG · 8 hari lalu · 18 tayangan

FlashAttention-4 memperkenalkan Direct-P untuk inferensi dan pelatihan FP4 yang sadar perangkat keras

FlashAttention-4 mengatasi keterbatasan kinerja inti tensor floating-point 4-bit (FP4) Blackwell dengan memperkenalkan jalur baru untuk inferensi nonkausal dan pelatihan kausal. Metode ini, yang disebut Direct-P, memetakan skor secara langsung ke probabilitas FP4 untuk melewati overhead konversi softmax yang biasanya mendominasi ketika hasil perkalian matriks mengecil.

lab OpenAI News · 17 hari lalu · 32 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.