lab NVIDIA Research · 15 jam lalu · research

FastGen-PDD memperkenalkan distilasi dekoding paralel untuk generasi video dan gambar yang cepat

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan Distilasi Dekoding Paralel (PDD), metode berbasis lintasan yang disederhanakan untuk mempercepat inferensi pada model pencocokan aliran dan difusi. Berbeda dengan pendekatan saat ini yang mengandalkan distilasi skor variasional yang sulit dioptimalkan dan kerugian adversarial, PDD memprediksi beberapa langkah denoising per evaluasi jaringan.

Kompatibel dengan setiap model pra-latih dan mendukung pengambilan sampel dengan jumlah evaluasi fungsi (NFE) yang bervariasi.
Mempelajari representasi kecepatan rata-rata tanpa meregresi turunannya menggunakan produk Jacobian-vektor atau aproksimasi beda hingga.
Mencapai kinerja state-of-the-art pada LTX-2.3 Text-to-Video/Audio, Wan 14B Text-to-Video, dan Qwen-Image Text-to-Image dengan 4-8 NFE.
Secara signifikan meningkatkan keragaman video yang dihasilkan dibandingkan metode yang ada.

PDD menawarkan alternatif yang skalabel untuk inferensi cepat yang menghindari runtuhnya mode sambil mempertahankan generasi berkualitas tinggi di tugas text-to-video dan text-to-image.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Inference efficiency Video generation

Artikel terkait

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10984 menambahkan dukungan CUDA untuk SUM_ROWS baris-kontigu

Proyek llama.cpp merilis versi b10984, memperkenalkan dukungan CUDA untuk operasi SUM_ROWS baris-kontigu. Pembaruan ini juga mengatur kode untuk menyertakan GGML_OP_MEAN guna menangani tensor baris-kontigu melalui kernel bersama.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b10985 membatasi cache hash RPC ke bobot

Proyek llama.cpp merilis build b10985, yang memodifikasi backend RPC untuk membatasi caching berbasis hash secara eksklusif ke tensor bobot. Perubahan ini mengatasi masalah di mana data aktivasi tidak perlu di-hash dan disimpan, menyebabkan penggunaan disk yang berlebihan.

github llama.cpp · 2 jam lalu · 2 tayangan

llama.cpp b10982 menambahkan dukungan Vulkan sparse Flash Attention untuk DSV4/GLM

Proyek llama.cpp telah merilis build b10982, yang memperkenalkan dukungan untuk sparse Flash Attention melalui backend Vulkan. Pembaruan ini secara khusus menargetkan model DSV4 dan GLM, memungkinkan mereka memanfaatkan mekanisme perhatian jarang pada perangkat keras GPU yang kompatibel.

github llama.cpp · 3 jam lalu · 2 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp menambahkan kernel Metal FA untuk HSK=96, HSV=64 MiniCPM3

Proyek llama.cpp telah menambahkan dukungan kernel Flash Attention (FA) untuk konfigurasi spesifik yang digunakan oleh MiniCPM3 di Apple Silicon. Perubahan ini mengatasi crash di mana flag `-fa auto` akan abort karena kurangnya instansiasi kernel untuk panjang kunci perhatian 96 dan panjang nilai 64.