github llama.cpp · 2 jam lalu · inference

llama.cpp v0.6.0 menambahkan API batch ekstensi, dukungan GLM-5.3-Flash, dan endpoint model keputusan

Diterjemahkan dari English → Bahasa Indonesia

llama.cpp v0.6.0 memperkenalkan API batch ekstensi llama_batch_ext baru untuk input token dan embedding campuran, serta dukungan untuk model hibrida GLM-5.3-Flash 320B dan model keputusan Clef.

API llama_batch_ext baru mendukung embedding keadaan per-token untuk model MTP dan deepstack.
Qwen4Exp kini menawarkan dukungan berkualitas tinggi dengan decoding spekulatif MTP, memberikan percepatan dekoder sekitar 1.5x pada DGX Spark.
API server /v1/systemone baru mendukung lima model keputusan: laya, julia-1, lev, openjev, dan kev.
Metal mendapatkan kernel flash attention tensor-API untuk KV F16 dan kernel mat-mul MMA hingga 3x lebih cepat pada GPU Apple.
Web UI menerima pembaruan besar dengan lapisan data Hugging Face Hub dan pipa unduhan model.

Rilis ini memperluas kemampuan llama.cpp untuk pemrosesan multimodal, kinerja decoding spekulatif, dan integrasi model keputusan.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Multimodal

Baca aslinya

llama.cpp b11240 menambahkan dukungan input multimodal bertipe ke /v1/embeddings

Server llama.cpp kini mendukung input konten bertipe (vision, audio, video) untuk endpoint /v1/embeddings. Pembaruan ini memungkinkan permintaan embedding multimodal dengan menerima array konten terbungkus bergaya OpenAI, sehingga bagian teks dan image_url dapat diproses bersama.

media MarkTechPost · 10 hari lalu · 46 tayangan

Liquid AI merilis LFM2.5-VL-3B-DSpark sebagai drafter spekulatif untuk dekoding hingga 3,13x lebih cepat

Liquid AI telah merilis LFM2.5-VL-3B-DSpark, model draf dekoding spekulatif eksperimental untuk model visi-bahasa LFM2.5-VL-3B-nya. Drafter ini menambahkan sekitar 280M parameter dan mempercepat generasi token tanpa mengubah distribusi keluaran model.

lab Hugging Face Blog · 11 hari lalu · 38 tayangan

Liquid AI merilis LFM2.5-VL-DSpark untuk mempercepat inferensi model visi-bahasa

Liquid AI telah merilis model draf LFM2.5-VL-DSpark, sebuah drafter decoding spekulatif yang dirancang untuk mempercepat inferensi bagi model visi-bahasa LFM2.5-VL-3B. Drafter ini menangkap keadaan tersembunyi dari lapisan tetap pada model target untuk menghasilkan token kandidat, hanya menambahkan 280M parameter (overhead 8,9%) sambil mempertahankan dimensi yang identik di seluruh modalitas.

lab Liquid AI · 11 hari lalu · 39 tayangan

Liquid AI merilis model draf DSpark untuk LFM2.5-VL-3B

Liquid AI telah merilis model draf eksperimental DSpark untuk model visi-bahasanya LFM2.5-VL-3B, memungkinkan decoding yang lebih cepat pada perangkat edge dan GPU tanpa mengubah kualitas output.

arxiv arXiv cs.CL · 18 hari lalu · 64 tayangan

DeepSeek merilis V4.1-Flash dengan jejak cache KV sebesar 890 byte/token

DeepSeek telah merilis DeepSeek-V4.1-Flash, sebuah model Mixture-of-Experts multimodal yang dirancang untuk mengatasi biaya tinggi komputasi konteks panjang dan cache KV besar dalam beban kerja agen.