media r/LocalLLaMA · 20 jam lalu · open_models

gtrg55 merilis NVIDIA Cosmos3 64B terkuantisasi INT4 untuk generasi gambar lokal

Diterjemahkan dari English → Bahasa Indonesia

Seorang pengguna telah menerbitkan kode dan bobot untuk menjalankan model Cosmos3 NVIDIA dengan 64 miliar parameter secara lokal menggunakan kuantisasi INT4. Implementasi ini mendukung tugas Text-to-Image dan Image-to-Video di Apple Silicon melalui MLX serta CUDA.

Repositori menyediakan kode GitHub dan bobot Hugging Face untuk model Cosmos3-Super-Text2Image-4Step-INT4-G64-BF16.
Kuantisasi memungkinkan model besar 64B parameter berjalan pada perangkat konsumen, dengan satu generasi klip memakan waktu sekitar lima menit di Mac M4 Max dengan memori 128 GB.
Proyek ini mencakup perbandingan dengan Grok untuk mendemonstrasikan kemampuan kinerja.

Rilis ini memungkinkan inferensi lokal dari model generasi gambar terkini pada perangkat yang biasanya tidak memiliki VRAM yang diperlukan untuk bobot presisi penuh.

Kepentingan 2/3 r/LocalLLaMA NVIDIA Image generation Inference efficiency

Baca aslinya

Nvidia menghadirkan FusionRelight untuk pencahayaan ulang potret secara real-time melalui fusi pengetahuan domain hibrida

Peneliti dari Nvidia telah memperkenalkan FusionRelight, sebuah metode untuk pencahayaan ulang potret yang menggabungkan transfer iluminasi yang secara fisik masuk akal dengan pelestarian identitas dan inferensi real-time yang ringkas. Pendekatan ini memanfaatkan Fusi Pengetahuan Domain Hibrida (HDKF), sebuah kerangka pelatihan yang mendistilasi prior fisika, reflektansi, dan realisme dari data sintetis, One-Light-at-a-Time (OLAT), dan di alam liar ke dalam model siswa.

lab NVIDIA Research · 44 hari lalu · 25 tayangan

Kuantisasi Buku Kode Berkumpul untuk Kompresi Gambar Berbasis Gauss 2D

Para peneliti menyajikan Cluster-Guided Vector Quantization (CGVQ), sebuah metode yang dirancang untuk meningkatkan kinerja laju-distorsi pada kompresi gambar berbasis primitif Gauss. Pendekatan ini mempartisi parameter Gauss menjadi kelompok-kelompok homogen sebelum kuantisasi, mengatasi inefisiensi yang disebabkan oleh penyimpanan sejumlah besar parameter floating-point per primitif.

arxiv arXiv cs.LG · 6 hari lalu · 10 tayangan

FlashAttention-4 memperkenalkan Direct-P untuk inferensi dan pelatihan FP4 yang sadar perangkat keras

FlashAttention-4 mengatasi keterbatasan kinerja inti tensor floating-point 4-bit (FP4) Blackwell dengan memperkenalkan jalur baru untuk inferensi nonkausal dan pelatihan kausal. Metode ini, yang disebut Direct-P, memetakan skor secara langsung ke probabilitas FP4 untuk melewati overhead konversi softmax yang biasanya mendominasi ketika hasil perkalian matriks mengecil.

github llama.cpp · 7 hari lalu · 10 tayangan

llama.cpp menambahkan dukungan untuk NVIDIA Nemotron-3-Puzzle-75B-A9B

llama.cpp memperkenalkan dukungan untuk model NVIDIA Nemotron-3-Puzzle-75B-A9B, mengaktifkan inferensi untuk arsitektur Mixture of Experts ini. Pembaruan ini mengimplementasikan infrastruktur untuk ukuran feed-forward ahli per-layer yang bervariasi dan routing top-k, yang diperlukan karena model memiliki 40 lapisan MoE dengan nilai n_ff_exp dan top-k yang berbeda.

lab OpenAI News · 16 hari lalu · 29 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.