media r/LocalLLaMA · 1 jam lalu · open_models

Lucebox dan AMD mengalahkan Nvidia DGX Spark sebesar 3.63x pada DeepSeek V4 Flash

Diterjemahkan dari English → Bahasa Indonesia

Lucebox telah bermitra dengan AMD untuk mendemonstrasikan setup perangkat keras konsumen heterogen yang mengungguli Nvidia DGX Spark dalam kecepatan inferensi. Sistem ini menggabungkan GPU AMD Radeon AI PRO R9700 dengan prosesor Strix Halo untuk menjalankan model lengkap DeepSeek V4 Flash sebesar 284B.

Konfigurasi ini mencapai kecepatan decode sebesar 51.1 tok/s pada model lengkap.
Ini memberikan keunggulan kinerja 3.63x dibandingkan satu unit Nvidia DGX Spark.
R9700 menangani jalur padat, ahli panas, cache, dan model draf, sementara Strix Halo mengelola ahli lainnya dalam memori 128GB untuk komputasi simultan.
Konfigurasi ini harganya $2,899 lebih murah daripada membeli dua perangkat Nvidia DGX Spark.

Para penulis mencatat bahwa ini adalah implementasi eksperimental yang menjalankan model Q2 dengan konteks 16k, dengan rencana untuk mengimplementasikan KVFlash guna mendukung konteks 64k-128k.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda r/LocalLLaMA NVIDIA Hardware & chips Inference efficiency

Baca aslinya

Tutorial NVIDIA mendemonstrasikan pemrograman GPU berbasis tile dengan cuTile dan Triton

Sebuah tutorial baru mengeksplorasi framework TileGym dari NVIDIA dengan membangun alur kerja Colab praktis yang beradaptasi terhadap berbagai kondisi perangkat keras. Panduan ini memeriksa lingkungan CUDA untuk menentukan apakah NVIDIA cuTile dapat berjalan langsung, dengan fallback ke Triton ketika GPU Colab standar tidak memiliki stack yang diperlukan.

media r/LocalLLaMA · 19 hari lalu

RTX 6000 PRO MaxQ yang dimodifikasi shunt mengungguli RTX 5090 dalam benchmark Anima dan LLM

Seorang pengguna membandingkan kinerja komputasi penuh dari RTX 5090 dengan kartu RTX 6000 PRO MaxQ yang dimodifikasi shunt dan berpendingin air, serta edisi RTX 6000 PRO WS yang disewa. Pengujian ini mengevaluasi skor benchmark Anima dan kecepatan pemrosesan prompt LLM di berbagai batas daya.

lab NVIDIA Technical Blog · 20 hari lalu

NVIDIA menjelaskan desain LLM yang ramah perangkat keras dengan menyeimbangkan akurasi, throughput, dan interaktivitas

NVIDIA menguraikan bagaimana kinerja AI bergantung pada tiga dimensi: akurasi, throughput, dan interaktivitas. Perusahaan menekankan bahwa sistem praktis harus mengoptimalkan faktor-faktor ini bersama-sama daripada fokus pada satu metrik.

media r/LocalLLaMA · 21 hari lalu · 1 tayangan

NVIDIA Puzzle-75B-A9B NVFP4 berjalan pada 132 t/s di 3×3090

Model Nemotron-3-Puzzle-75B-A9B, menggunakan kuantisasi NVFP4 dan vLLM 0.22.1, mencapai kecepatan dekoding 132 token per detik di tiga aliran pada setup tiga GPU NVIDIA RTX 3090. Konfigurasi ini memanfaatkan paralelisme pipeline dengan kartu yang dibatasi pada 200W masing-masing, sementara kartu keempat menangani sidecar suara.

lab NVIDIA Technical Blog · 22 hari lalu

NVIDIA menjalankan beban kerja analitis berlatensi rendah dengan Presto yang dipercepat GPU di GB200 NVL72

Presto adalah mesin SQL terdistribusi sumber terbuka yang dirancang untuk menjalankan kueri interaktif cepat pada dataset yang sangat besar. Saat dideploy di GPU NVIDIA, Presto memberikan kinerja puncak untuk beban kerja kueri analitis sambil menyediakan latensi rendah bagi pengguna dan agen.