github llama.cpp · baru saja · inference

llama.cpp menambahkan dukungan untuk NVIDIA Nemotron-3-Puzzle-75B-A9B

Diterjemahkan dari English → Bahasa Indonesia

llama.cpp memperkenalkan dukungan untuk model NVIDIA Nemotron-3-Puzzle-75B-A9B, mengaktifkan inferensi untuk arsitektur Mixture of Experts ini. Pembaruan ini mengimplementasikan infrastruktur untuk ukuran feed-forward ahli per-layer yang bervariasi dan routing top-k, yang diperlukan karena model memiliki 40 lapisan MoE dengan nilai n_ff_exp dan top-k yang berbeda.

Menambahkan array n_ff_exp dan n_expert_used per-layer dengan kemampuan pemuatan skalar atau array.
Mengimplementasikan infrastruktur G1/G2 untuk menangani konfigurasi ahli heterogen di seluruh lapisan.
Memperbarui konverter untuk mengurai block_configs dan menormalisasi nama tensor untuk checkpoint resmi BF16.
Membedakan Nemotron 3 Puzzle dari varian Super berdasarkan array expert_used_count per-layer.

Perubahan ini memungkinkan llama.cpp memuat dan menjalankan model Nemotron-3-Puzzle, yang sebelumnya tidak didukung karena struktur MoE-nya yang kompleks dan tidak seragam.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp NVIDIA Hugging Face Inference efficiency Open weights

Baca aslinya

Nvidia mengakuisisi Hugging Face, mengambil kendali atas llama.cpp dan timnya

Nvidia sedang mengakuisisi platform Hugging Face, sebuah langkah yang secara efektif mencakup hak cipta proyek llama.cpp bersama dengan seluruh tim pengembang. Tim tersebut, yang dipekerjakan oleh Hugging Face pada Februari 2026 untuk melanjutkan pekerjaan pada llama.cpp dan perpustakaan ggml, sekarang berada di bawah kepemilikan Nvidia.

media r/LocalLLaMA · 54 hari lalu · 5 tayangan

LordNeel merilis kuantisasi GGUF untuk Tencent Hy3 dan NVIDIA Nemotron-Labs-Audex

LordNeel telah menerbitkan set kuantisasi GGUF untuk model MoE Hy3 295B dari Tencent dan model hibrida MoE 30B yang mampu audio Nemotron-Labs-Audex-30B-A3B dari NVIDIA, menyediakan data benchmark lengkap dan metrik yang dapat direproduksi.

lab Hugging Face Blog · 55 hari lalu · 5 tayangan

Profilasi PyTorch menunjukkan bahwa masking in-place menghapus salinan memori dan dispatch SDPA ke backend yang dioptimalkan

Artikel ini mendemonstrasikan cara memprofil mekanisme perhatian dalam PyTorch menggunakan jejak profiler untuk mengidentifikasi hambatan kinerja dan peluang optimasi. Artikel ini membandingkan implementasi perhatian naif dengan Scaled Dot Product Attention (SDPA) bawaan PyTorch untuk menggambarkan perilaku kernel.

media r/LocalLLaMA · 58 hari lalu · 3 tayangan

NVIDIA merilis Puzzle-75B-A9B, model Nemotron terkompresi dengan throughput 2x

NVIDIA telah merilis model Nemotron-Labs-3-Puzzle-75B-A9B, model bahasa besar yang dioptimalkan untuk deployment yang berasal dari Nemotron-3-Super-120B-A12B. Model ini memanfaatkan framework kompresi pasca-pelatihan Puzzle Iteratif untuk secara signifikan meningkatkan efisiensi inferensi untuk beban kerja yang berat dalam penalaran dan konteks panjang sambil mempertahankan akurasi downstream yang kuat.

media Hugging Face Forums · 58 hari lalu · 3 tayangan

Kontributor menambahkan dukungan Gemma 4 dan optimasi ekspor ONNX ke Hugging Face

Seorang kontributor sedang menyiapkan permintaan tarik (pull request) untuk menambahkan dukungan upstream bagi keluarga model Gemma 4 ke Hugging Face, bersamaan dengan optimasi untuk pelacakan ekspor ONNX. Perubahan tersebut mengatasi keterbatasan spesifik arsitektur selama pelacakan ONNX dan memperbaiki perhitungan lapisan untuk varian model heterogen, termasuk konfigurasi Mixture of Experts (MoE) dan Dense.