github llama.cpp · 1 jam lalu · inference

llama.cpp b10638 menambahkan Vulkan cross_entropy_loss dan merilis biner

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10638, yang mengimplementasikan dukungan Vulkan untuk fungsi `cross_entropy_loss` dan `cross_entropy_loss_back`.

Rilis ini mencakup biner pra-dibangun untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x), Windows (x64 dan arm64), Android (arm64), dan openEuler.
Akselerasi GPU tersedia melalui Vulkan, CUDA (12.4, 13.3, 13.4 preview), ROCm 7.14, OpenCL Adreno, SYCL, dan OpenVINO di platform yang didukung.
Build macOS Apple Silicon dengan KleidiAI saat ini dinonaktifkan dalam rilis ini.
Paket UI yang diperbarui juga disediakan bersama biner inti.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10639 memperbaiki asumsi ukuran warptile Vulkan

Proyek llama.cpp merilis build b10639, yang mencakup perbaikan untuk backend Vulkan di mana warptiles sebelumnya mengasumsikan ukuran warp kurang dari atau sama dengan 64. Perubahan ini membatasi ukuran warp untuk mengatasi masalah dengan warp yang lebih besar.

media Hugging Face Forums · 2 jam lalu · 1 tayangan

Celestium Neon memperbaiki OOM SDXL pada GPU 4GB dengan membersihkan VRAM

Celestium Neon adalah alat baru yang dirancang untuk membersihkan VRAM dan memungkinkan inferensi Stable Diffusion XL (SDXL) pada kartu grafis dengan memori hanya 4GB, seperti GTX 1650.

github llama.cpp · 5 jam lalu · 1 tayangan

llama.cpp b10636 menonaktifkan build UI npm secara default dan membersihkan CI

Proyek llama.cpp merilis versi b10636, yang mengubah perilaku default saat membangun antarmuka web. Build UI berbasis npm sekarang dinonaktifkan secara default (LLAMA_BUILD_UI=OFF), dengan UI disematkan dari sumber lokal atau unduhan pra-build.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10635 membuka mmq untuk MoE di sm_60

Proyek llama.cpp merilis versi b10635, yang mencakup pembaruan spesifik untuk dukungan CUDA. Perubahan utamanya adalah pembukaan kembali perkalian matrik presisi campuran (mmq) untuk arsitektur Mixture of Experts (MoE) pada GPU dengan kemampuan komputasi 6.0 (sm_60).

media Hugging Face Forums · 8 jam lalu · 1 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.