media Hugging Face Forums · 1 jam lalu · open_models

Hardik Kumar mempublikasikan matriks harga inferensi HF dengan sebaran harga hingga 4,66x

Diterjemahkan dari English → Bahasa Indonesia

Sebuah dataset baru yang dipublikasikan di Hugging Face menyediakan matriks harga komprehensif untuk penyedia inferensi model, mengungkapkan disparitas biaya yang signifikan untuk model yang sama di antara vendor yang berbeda.

Analisis mencakup 107 model dari 14 penyedia, total 295 daftar yang diambil dari router HF.
Qwen3-235B-A22B menunjukkan sebaran harga terluas sebesar 4,66x di antara opsi yang terdaftar.
openai/gpt-oss-120b tersedia melalui 10 penyedia dengan perbedaan harga 4,41x meskipun memiliki bobot dan output yang sama.
DeepInfra diidentifikasi sebagai opsi termurah untuk sebagian besar model, meskipun pemimpin latensi bervariasi tergantung pada model.

Dataset ini, yang diperbarui setiap bulan, memungkinkan pengguna membandingkan biaya dan mengidentifikasi penyedia paling ekonomis sebelum berkomitmen pada pengeluaran jangka panjang.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Inference efficiency

Baca aslinya

llama.cpp b10219 mempertahankan reasoning_content dalam riwayat obrolan

Proyek llama.cpp merilis versi b10219, yang mencakup perbaikan untuk CLI agar dapat mempertahankan konten penalaran dalam riwayat obrolan. Sebelumnya, meskipun `llama-cli` mengumpulkan penalaran dari stream untuk ditampilkan, ia hanya menyimpan konten asisten dalam pesan, mencegah flag `--reasoning-preserve` menyuntikkan kembali pemikiran sebelumnya pada giliran berikutnya.

media r/LocalLLaMA · 9 jam lalu · 1 tayangan

Meituan merilis LongCat-Flash-Lite-Sparse dengan jendela konteks 1M

Meituan telah merilis bobot untuk LongCat-Flash-Lite-Sparse, varian baru dari model LongCat-Flash-Lite-nya. Pembaruan ini memperkenalkan LongCat Sparse Attention (LSA) untuk menggantikan MLA padat dan memperluas dukungan panjang konteks asli hingga 1 juta token.

github llama.cpp · 12 jam lalu

llama.cpp b10218 menambahkan dukungan downsample minicpmv46

Proyek llama.cpp merilis build b10218, yang mencakup penambahan dukungan downsample minicpmv46 melalui pull request #25993. Pembaruan ini memperkenalkan merger VIT 4x ignore dan menempatkan mode downsample di dalam format GGUF.

github llama.cpp · 1 hari lalu · 3 tayangan

llama.cpp b10216 menambahkan dukungan pooling 1D ke backend Vulkan

Proyek llama.cpp merilis versi b10216, yang memperkenalkan dukungan penuh untuk GGML_OP_POOL_1D pada backend Vulkan. Pembaruan ini mencakup shader komputasi baru yang mencerminkan implementasi pool2d yang ada dan memperbaiki crash yang terjadi ketika dimensi tensor menghasilkan batas akhir negatif.

github llama.cpp · 1 hari lalu

llama.cpp b10215 menambahkan pemeriksaan versi driver GPU Intel Windows untuk memperbaiki crash

Proyek llama.cpp merilis build b10215, yang memperkenalkan pemeriksaan versi driver untuk GPU Intel di Windows guna mengurangi masalah crash. Perubahan ini mengatasi ketidakstabilan yang disebabkan oleh versi driver tertentu, secara khusus memperbaiki crash yang dimulai dari driver 32.0.101.8860.