github llama.cpp · 1 jam lalu · inference

llama.cpp b10632 menambahkan MMA SSD chunked untuk optimasi prefill Mamba-2

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10632, yang memperkenalkan optimasi MMA SSD chunked untuk prefill Mamba-2 melalui ggml-metal.

Menambahkan kernel WIP SSM_SCAN SSD chunked untuk prefill multi-token di Metal.
Melepas jalur SSD skalar demi MMA yang digabungkan dengan ekor sekuensial.
Menyisihkan K token untuk snapshot rollback kernel sekuensial dan mereset konkurensi antara MMA dan seq tail.
Menspesialisasikan ekor ssm_scan dengan template dan memperbarui konstanta untuk kejelasan.

Pembaruan ini menyediakan biner untuk macOS, iOS, Linux, Windows, Android, dan openEuler di berbagai backend perangkat keras termasuk CPU, CUDA, ROCm, Vulkan, dan OpenVINO.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).

lab OpenAI News · 19 jam lalu · 6 tayangan

OpenAI melaporkan chip Jalapeño menurunkan latensi hingga 3,6x dan meningkatkan efisiensi hingga 1,9x

OpenAI telah merilis hasil kinerja awal untuk Jalapeño, chip inferensi kustom pertamanya, yang menunjukkan peningkatan signifikan dalam kecepatan dan efisiensi daya dibandingkan dengan sistem komersial yang ada. Perusahaan menyatakan bahwa arsitektur baru ini memungkinkan throughput lebih tinggi dan latensi lebih rendah secara bersamaan, mengatasi trade-off umum pada perangkat keras saat ini.

media r/LocalLLaMA · 21 jam lalu · 1 tayangan

Quantization-Aware Healing: model terkompresi 4-bit yang mengungguli asli presisi penuhnya

Artikel ini memperkenalkan Quantization-Aware Healing, sebuah metode untuk membuat model terkompresi 4-bit yang mencapai kinerja lebih unggul dibandingkan aslinya dengan presisi penuh.

github llama.cpp · 21 jam lalu · 1 tayangan

llama.cpp b10622 memperbaiki crash OOM Metal di iOS/macOS

Proyek llama.cpp merilis build b10622, yang mencakup perbaikan kritis untuk backend Metal guna mencegah crash akibat kehabisan memori. Pembaruan ini mengatasi masalah di mana `ggml_metal_buffer_init` mengembalikan NULL karena kegagalan alokasi tidak diperiksa, menyebabkan crash keras melalui `EXC_BAD_ACCESS` saat dereferensi pointer null.

lab Hugging Face Blog · 21 jam lalu · 1 tayangan

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.