github llama.cpp · 4 hari lalu · inference

llama.cpp b11205 menambahkan dukungan CUDA untuk ukuran keadaan Puzzle 96 pada Nemotron 3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11205, yang memperkenalkan pembaruan spesifik pada backend CUDA-nya. Rilis ini menambahkan dukungan untuk ukuran keadaan Puzzle 96 dari Nemotron 3 di dalam implementasi pemindaian SSM.

Pembaruan ini memungkinkan penanganan model Nemotron 3 dengan ukuran keadaan puzzle 96 pada perangkat keras CUDA.
Binari disediakan untuk macOS (Apple Silicon dan Intel), Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Windows (CPU, CUDA, Vulkan, OpenVINO, SYCL, ROCm), Android, dan iOS.
Rilis ini menyertakan binari UI standar bersama dengan eksekutabel spesifik platform.

Pembaruan ini memungkinkan pengguna menjalankan model Nemotron 3 dengan ukuran keadaan tertentu pada GPU NVIDIA yang kompatibel menggunakan llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b11302 memperbaiki race data ThreadSanitizer pada pengindeks jarang

Proyek llama.cpp merilis build b11302, yang mengatasi masalah konkurensi kritis yang diidentifikasi oleh ThreadSanitizer dalam pipeline CI. Pembaruan ini menyelesaikan race data dalam mekanisme perhatian jarang di mana beberapa utas CPU secara tidak benar menulis ke elemen memori yang sama.

github llama.cpp · 1 jam lalu · 1 tayangan Langsung

llama.cpp b11302 memperbaiki race data ThreadSanitizer pada pengindeks jarang

llama.cpp b11298 menambahkan dukungan dflash untuk konversi dan ekstraksi fitur

llama.cpp b11284 memperbaiki GET_ROWS OpenVINO pada tampilan bobot terkuantisasi

llama.cpp menambahkan dukungan GLM-5.3-Flash dengan perbaikan k-pool dan MTP

llama.cpp b11272 mengoptimalkan operasi penggabungan Hexagon