github llama.cpp · 8 jam lalu · inference

llama.cpp b10655 menambahkan dukungan LIGHTNING_INDEXER untuk operasi Deepseek V4 di Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10655, yang memperkenalkan dukungan untuk operasi LIGHTNING_INDEXER di dalam backend Vulkan untuk mengaktifkan operasi Deepseek V4.

Menambahkan operasi LIGHTNING_INDEXer ke backend Vulkan.
Memperbarui lightning_indexer.comp dan ggml-vulkan.cpp untuk memindahkan reduksi dot-product 128-lane dari pohon memori bersama ke subgroupAdd.
Termasuk perubahan pembersihan seperti melewati pemeriksaan batas dan mengembalikan modifikasi FA_K_ONLY sebelumnya.
Memulihkan urutan buffer K/V yang berselang-seling dan menghapus logika FA_K_ONLY.

Pembaruan ini memberikan pengguna Vulkan kemampuan untuk menjalankan operasi Deepseek V4 menggunakan implementasi LIGHTNING_INDEXER baru.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

llama.cpp menambahkan dukungan arsitektur Qwen3.8-Flash-Next (qwen4exp)

Proyek llama.cpp telah menambahkan dukungan untuk arsitektur model Qwen3.8-Flash-Next (qwen4exp), mengimplementasikan komponen spesifiknya termasuk hiper-koneksi, jaringan delta tergerbang, Campuran Ahli, dan embedding hash n-gram PLE.

github llama.cpp · 8 jam lalu · 3 tayangan

llama.cpp b10653 menambahkan TENSOR_READ_LAZY untuk pemuatan model

Proyek llama.cpp telah merilis build b10653, memperkenalkan fitur TENSOR_READ_LAZY ke pemuat modelnya. Perubahan ini mencakup penambahan fungsi TENSOR_GET_ROW_LAZY dan flag baris perintah --tensor-read-lazy yang sesuai.

github llama.cpp · 1 hari lalu · 6 tayangan

llama.cpp b10639 memperbaiki asumsi ukuran warptile Vulkan

Proyek llama.cpp merilis build b10639, yang mencakup perbaikan untuk backend Vulkan di mana warptiles sebelumnya mengasumsikan ukuran warp kurang dari atau sama dengan 64. Perubahan ini membatasi ukuran warp untuk mengatasi masalah dengan warp yang lebih besar.

media Hugging Face Forums · 1 hari lalu · 4 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

lab Hugging Face Blog · 2 hari lalu · 1 tayangan

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.