github llama.cpp · 1 jam lalu · inference

llama.cpp b10093 memperbaiki template DeepSeek v4 dan menambahkan flag drop_reasoning

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b10093, yang mencakup pembaruan spesifik untuk mendukung model DeepSeek v4. Rilis ini menangani penanganan template dan memperkenalkan flag konfigurasi baru untuk keluarga model ini.

Memperbaiki template buatan DeepSeek v4 agar secara eksplisit mengikuti perilaku referensi.
Menambahkan dukungan untuk flag `drop_reasoning` DeepSeek v4.
Mengaitkan parser DeepSeek 3.2 juga untuk menangani input DeepSeek v4.
Termasuk perbaikan untuk pengurian ulang hasil alat.

Pembaruan ini memastikan format chat yang benar dan penanganan token penalaran untuk model DeepSeek v4 dalam llama.cpp.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp b10089 menambahkan dukungan penuh k-quant dan i-quant ke CUDA GET_ROWS

Rilis llama.cpp b10089 memperluas operasi CUDA GET_ROWS untuk mendukung format kuantisasi k-quants, i-quants, dan mxfp4. Perubahan ini memastikan bahwa semua jenis GGML yang terkuantisasi sekarang dapat mengambil jalur perangkat langsung untuk pencarian embedding.

github llama.cpp · 2 hari lalu

llama.cpp b10076 memvektorkan get_rows dengan salinan int4 untuk percepatan 27%

Proyek llama.cpp merilis build b10076, yang memperkenalkan optimasi kinerja pada backend CUDA dengan memvektorkan operasi `get_rows` menggunakan salinan int4. Perubahan ini mengangkat pekerjaan invarian baris keluar dari loop per-elemen dan menambahkan jalur tervektorisasi yang menyalin 16 byte per thread untuk data kontigu tipe yang sama.

media Hugging Face Forums · 5 hari lalu · 2 tayangan

zhongkaifu merilis TensorSharp, mesin inferensi LLM asli .NET untuk model GGUF

zhongkaifu telah merilis TensorSharp, mesin inferensi LLM lokal sumber terbuka yang dibangun sepenuhnya dalam C# dan mendukung Windows, macOS, serta Linux. Mesin ini menangani model GGUF dari Unsloth, termasuk Gemma 4 dan Qwen 3.6 dengan kemampuan multimodal, sambil menyediakan API yang kompatibel dengan OpenAI dan Ollama.

github llama.cpp · baru saja Langsung

llama.cpp b10094 menyimpulkan tipe spekulatif dari sidecar repo draf

Proyek llama.cpp merilis versi b10094, memperkenalkan fitur yang secara otomatis mendeteksi tipe decoding spekulatif dari sidecar repositori draf. Sebelumnya, saat menggunakan flag `-hfd` untuk menunjuk ke repositori yang berisi sidecar mtp-, dflash-, atau eagle3- tanpa secara eksplisit menyediakan `--spec-type`, sistem akan salah menyelesaikan draf sebagai model penuh.

lab Tencent Hunyuan (HF) · 5 jam lalu

Tencent membuka sumber model terjemahan multibahasa Hy-MT2 dan IFMTBench

Tencent telah merilis keluarga model terjemahan multibahasa "berpikir cepat" Hy-MT2, termasuk ukuran 1.8B, 7B, dan 30B-A3B (MoE), bersama dengan benchmark IFMTBench untuk mengevaluasi kemampuan mengikuti instruksi.