github llama.cpp · 1 jam lalu · inference

llama.cpp b10622 memperbaiki crash OOM Metal di iOS/macOS

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10622, yang mencakup perbaikan kritis untuk backend Metal guna mencegah crash akibat kehabisan memori. Pembaruan ini mengatasi masalah di mana `ggml_metal_buffer_init` mengembalikan NULL karena kegagalan alokasi tidak diperiksa, menyebabkan crash keras melalui `EXC_BAD_ACCESS` saat dereferensi pointer null.

metal: Menambahkan pengecekan null untuk hasil `ggml_metal_buffer_init` dalam `ggml_backend_metal_buffer_type_alloc_buffer` untuk menangani kondisi OOM dengan lancar.
cont: Memperbaiki masalah logging di dalam basis kode.

Perubahan ini memastikan bahwa perangkat dengan memori terbatas seperti iOS dapat menampilkan kesalahan yang dapat didiagnosis alih-alih crash ketika model atau konteks melebihi anggaran Metal yang tersedia.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

Quantization-Aware Healing: model terkompresi 4-bit yang mengungguli asli presisi penuhnya

Artikel ini memperkenalkan Quantization-Aware Healing, sebuah metode untuk membuat model terkompresi 4-bit yang mencapai kinerja lebih unggul dibandingkan aslinya dengan presisi penuh.

lab Hugging Face Blog · 1 jam lalu · 1 tayangan Langsung

Papers with Code menggunakan layanan Hugging Face untuk pencarian paper hibrida

Papers with Code telah mengimplementasikan sistem pencarian hibrida yang menggabungkan pengambilan berbasis kata kunci dan semantik untuk membantu pengguna menemukan makalah penelitian AI yang relevan. Arsitektur ini memanfaatkan Hugging Face Jobs, Storage Buckets, dan Inference Endpoints untuk mengelola pipa embedding dan melayani kueri dengan latensi rendah.

lab Hugging Face Blog · 1 jam lalu · 5 tayangan Langsung

QAH dari Multiverse Computing membuat GPT-OSS 4-bit melampaui versi aslinya presisi penuh

Multiverse Computing memperkenalkan Quantization-Aware Healing (QAH), sebuah metode yang mendistilasi model bahasa besar terkompresi dan terkuantisasi langsung dari guru pra-kompresinya. Diterapkan pada model GPT-OSS 120B yang dikompresi menjadi 60B parameter dan di-kuantisasi ke MXFP4, pendekatan ini menghasilkan model yang mengalahkan versi bfloat16 presisi penuhnya sendiri pada 7 dari 9 benchmark.

github llama.cpp · 2 jam lalu · 1 tayangan

llama.cpp 0.3.0 menambahkan model dots3-note dan tensor-split untuk DeepSeek 4

llama.cpp 0.3.0 memperkenalkan dukungan untuk model multimodal dots3-note dengan jenis cache KV DSA-ISWA baru, serta dukungan prediksi multi-token (MTP) untuk GLM-4.5-Air. Rilis ini juga menambahkan kemampuan tensor-split untuk DeepSeek 4 dan memperbaiki masalah rollback multi-sekuens.

github llama.cpp · 6 jam lalu · 1 tayangan

llama.cpp b10618 memperbaiki parsing tata bahasa untuk tanda hubung literal dalam kelas karakter

Proyek llama.cpp merilis build b10618, yang mencakup perbaikan untuk parser tata bahasa agar dapat menangani tanda hubung literal di dalam kelas karakter dengan benar. Sebelumnya, fungsi `gbnf_escape_char_class()` melakukan escape pada tanda hubung sebagai "\-", tetapi fungsi `parse_char()` menolak urutan escape ini, menyebabkan tata bahasa panggilan alat yang dihasilkan gagal saat parsing.