github llama.cpp · 1 jam lalu · inference

llama.cpp b10639 memperbaiki asumsi ukuran warptile Vulkan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10639, yang mencakup perbaikan untuk backend Vulkan di mana warptiles sebelumnya mengasumsikan ukuran warp kurang dari atau sama dengan 64. Perubahan ini membatasi ukuran warp untuk mengatasi masalah dengan warp yang lebih besar.

Rilis ini menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, ROCm, OpenVINO, SYCL), Android, Windows (CPU, CUDA, Vulkan, OpenCL, OpenVINO, SYCL, ROCm), dan openEuler. Ini juga mencakup antarmuka llama.cpp UI.

Pembaruan ini memastikan kompatibilitas dengan konfigurasi perangkat keras yang menggunakan ukuran warp lebih besar dari 64.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Hugging Face Inference efficiency

Baca aslinya

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

lab Hugging Face Blog · 1 hari lalu · 1 tayangan

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.

github llama.cpp · 1 hari lalu · 21 tayangan

llama.cpp 0.3.0 menambahkan model dots3-note dan tensor-split untuk DeepSeek 4

llama.cpp 0.3.0 memperkenalkan dukungan untuk model multimodal dots3-note dengan jenis cache KV DSA-ISWA baru, serta dukungan prediksi multi-token (MTP) untuk GLM-4.5-Air. Rilis ini juga menambahkan kemampuan tensor-split untuk DeepSeek 4 dan memperbaiki masalah rollback multi-sekuens.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10615 menambahkan vec flash-attn yang disesuaikan per-perangkat untuk Metal

Proyek llama.cpp merilis versi b10615, memperkenalkan operasi vektor flash-attention terkuantisasi (Q, NE) yang disesuaikan per-perangkat untuk backend Metal.

github llama.cpp · 2 hari lalu · 1 tayangan

llama.cpp b10614 menambahkan pemisahan sumber per-op Metal dan kompilasi paralel

Rilis llama.cpp b10614 memperkenalkan perubahan arsitektur signifikan pada backend Metal dengan memisahkan sumber operasi dan mengaktifkan kompilasi paralel. Pembaruan ini juga mencakup beberapa implementasi kernel baru dan dukungan untuk format kuantisasi tambahan.