github llama.cpp · 14 hari lalu · inference

llama.cpp release b9675 menambahkan dukungan FP16 dan biner platform baru

Diterjemahkan dari English → Bahasa Indonesia

Versi llama.cpp b9675 mengaktifkan dukungan FP16 untuk operasi seperti SQR, SQRT, LOG, SIN, COS, dan CLAMP. Rilis ini mencakup biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai arsitektur, dengan dukungan untuk Vulkan, ROCm, OpenVINO, SYCL (FP16 dan FP32), serta CUDA 12.4 dan 13.3.

Kepentingan 1/3 Kepercayaan 2/3 llama.cpp Code generation Hardware & chips Inference efficiency

Baca aslinya