media Hugging Face Forums · 2 hari lalu · open_models

NanoAvatar memungkinkan avatar berbicara lokal di Android melalui Qualcomm QNN

Diterjemahkan dari English → Bahasa Indonesia

NanoAvatar adalah proyek open-source yang menjalankan avatar berbicara realistis secara lokal di ponsel Android lama tanpa memerlukan GPU cloud. Rilisnya mencakup kode publik, bobot model, dan APK Android yang membundel model dan avatar untuk penggunaan offline dengan suara pengguna sendiri.

Runtime Android memanfaatkan Qualcomm QNN untuk inferensi.
Versi Full dan Lite berbagi satu basis kode tetapi membundel sumber daya model dan avatar yang berbeda.
Pada Z60 Ultra dengan Snapdragon 8 Gen 3, versi Lite mencapai 37 FPS dengan frame pertama model sebesar 112 ms.
APK yang dirilis menghasilkan video pada laju tetap 25 FPS untuk Full dan 12.5 FPS untuk Lite.

Penulis menyambut umpan balik dari pengembang yang bekerja dengan QNN atau mengintegrasikan avatar berbicara ke dalam aplikasi mereka.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Local inference Video generation

Baca aslinya

llama.cpp b10982 menambahkan dukungan Vulkan sparse Flash Attention untuk DSV4/GLM

Proyek llama.cpp telah merilis build b10982, yang memperkenalkan dukungan untuk sparse Flash Attention melalui backend Vulkan. Pembaruan ini secara khusus menargetkan model DSV4 dan GLM, memungkinkan mereka memanfaatkan mekanisme perhatian jarang pada perangkat keras GPU yang kompatibel.

github llama.cpp · 4 jam lalu · 2 tayangan

llama.cpp b10981 memperbaiki decode stateful untuk Gemma-4 dan mengoptimalkan inferensi GPU MoE

Rilis llama.cpp b10981 mengatasi masalah korektivitas kritis pada jalur decoding stateful backend OpenVINO, khususnya memperbaiki dukungan untuk model seperti Gemma-4 yang menggunakan ukuran kepala per-layer. Rilis ini juga memperkenalkan optimisasi untuk inferensi Mixture of Experts (MoE) GPU dan meningkatkan kinerja melalui relayout state KV.

lab NVIDIA Research · 16 jam lalu · 3 tayangan

FastGen-PDD memperkenalkan distilasi dekoding paralel untuk generasi video dan gambar yang cepat

Para peneliti memperkenalkan Distilasi Dekoding Paralel (PDD), metode berbasis lintasan yang disederhanakan untuk mempercepat inferensi pada model pencocokan aliran dan difusi. Berbeda dengan pendekatan saat ini yang mengandalkan distilasi skor variasional yang sulit dioptimalkan dan kerugian adversarial, PDD memprediksi beberapa langkah denoising per evaluasi jaringan.

github llama.cpp · 21 jam lalu · 8 tayangan

llama.cpp 0.4.1 menambahkan dukungan untuk Maple 20B-A1B, Tencent Hy 4, dan Spark2.5

Proyek llama.cpp merilis versi 0.4.1, memperkenalkan dukungan untuk arsitektur Mixture of Experts ternary Maple 20B-A1B pada CPU, serta dukungan pratinjau untuk model Tencent Hy 4 dan Spark2.5.

media Hugging Face Forums · 1 hari lalu · 2 tayangan

Diskusi tentang batas praktis menjalankan model 2B–7B secara lokal

Artikel ini mengajukan pertanyaan mengenai kegunaan praktis dari model-model yang lebih kecil dengan bobot terbuka (2B–7B) untuk penyebaran lokal, bertanya apakah mereka menjadi cukup untuk alur kerja pribadi dibandingkan dengan model yang lebih besar.