github llama.cpp · baru saja · inference

llama.cpp b10665 menambahkan dukungan DSpark untuk Nemotron3.5

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10665, yang memperkenalkan dukungan DSpark untuk model Nemotron3.5.

Menambahkan dukungan DSpark untuk Nemotron3.5 melalui pembaruan pada src/models/dflash.cpp.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu dengan CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA 12/13, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), dan openEuler.

Rilis ini memungkinkan pengguna menjalankan model Nemotron3.5 menggunakan format DSpark di berbagai arsitektur perangkat keras dan sistem operasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

github llama.cpp · 10 jam lalu · 4 tayangan

llama.cpp b10653 menambahkan TENSOR_READ_LAZY untuk pemuatan model

Proyek llama.cpp telah merilis build b10653, memperkenalkan fitur TENSOR_READ_LAZY ke pemuat modelnya. Perubahan ini mencakup penambahan fungsi TENSOR_GET_ROW_LAZY dan flag baris perintah --tensor-read-lazy yang sesuai.

github llama.cpp · 10 jam lalu · 3 tayangan

llama.cpp b10655 menambahkan dukungan LIGHTNING_INDEXER untuk operasi Deepseek V4 di Vulkan

Proyek llama.cpp merilis build b10655, yang memperkenalkan dukungan untuk operasi LIGHTNING_INDEXER di dalam backend Vulkan untuk mengaktifkan operasi Deepseek V4.

github llama.cpp · 1 hari lalu · 6 tayangan

llama.cpp b10639 memperbaiki asumsi ukuran warptile Vulkan

Proyek llama.cpp merilis build b10639, yang mencakup perbaikan untuk backend Vulkan di mana warptiles sebelumnya mengasumsikan ukuran warp kurang dari atau sama dengan 64. Perubahan ini membatasi ukuran warp untuk mengatasi masalah dengan warp yang lebih besar.

media Hugging Face Forums · 2 hari lalu · 4 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.