github llama.cpp · 1 jam lalu · inference

llama.cpp b10094 menyimpulkan tipe spekulatif dari sidecar repo draf

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis versi b10094, memperkenalkan fitur yang secara otomatis mendeteksi tipe decoding spekulatif dari sidecar repositori draf. Sebelumnya, saat menggunakan flag `-hfd` untuk menunjuk ke repositori yang berisi sidecar mtp-, dflash-, atau eagle3- tanpa secara eksplisit menyediakan `--spec-type`, sistem akan salah menyelesaikan draf sebagai model penuh.

Dengan pembaruan ini, jika tidak ada tipe spekulatif yang ditentukan, llama-server menemukan sidecar yang tersedia di repositori draf dan memilih yang pertama berdasarkan urutan prioritas mtp, dflash, lalu eagle3. Ini memungkinkan pengguna menjalankan perintah seperti `llama-server -hf repo:Q3_K_M -hfd repo:Q8_0` tanpa flag tambahan. Argumen `--spec-type` yang eksplisit masih menonaktifkan inferensi otomatis ini.

Rilis ini mencakup biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (Ubuntu x64/arm64/s390x dengan CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android arm64, Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Artikel terkait

media Together AI Blog · baru saja Langsung

Together meluncurkan Inferensi Model Dedikasi dengan beta pelatihan kustom

Together telah merilis pembaruan signifikan untuk platform inferensinya, memperkenalkan "Inferensi Model Dedikasi" yang dirancang untuk memberikan pengguna kendali penuh atas kinerja, biaya, dan kualitas untuk model bobot terbuka. Pembaruan ini juga mengumumkan beta tertutup untuk kemampuan pelatihan kustom, termasuk pembelajaran penguatan dengan bobot penuh dan LoRA.

github llama.cpp · 2 jam lalu

llama.cpp b10093 memperbaiki template DeepSeek v4 dan menambahkan flag drop_reasoning

Proyek llama.cpp telah merilis build b10093, yang mencakup pembaruan spesifik untuk mendukung model DeepSeek v4. Rilis ini menangani penanganan template dan memperkenalkan flag konfigurasi baru untuk keluarga model ini.

lab Tencent Hunyuan (HF) · 7 jam lalu

Tencent membuka sumber model terjemahan multibahasa Hy-MT2 dan IFMTBench

Tencent telah merilis keluarga model terjemahan multibahasa "berpikir cepat" Hy-MT2, termasuk ukuran 1.8B, 7B, dan 30B-A3B (MoE), bersama dengan benchmark IFMTBench untuk mengevaluasi kemampuan mengikuti instruksi.

media r/LocalLLaMA · 10 jam lalu

PaddlePaddle merilis HPD-Parsing, model 1B dengan dekoding paralel hierarkis

PaddlePaddle telah memperkenalkan HPD-Parsing, model parsing dokumen ringan dengan 1 miliar parameter yang memanfaatkan paradigma Hierarchical Parallel Decoding untuk meningkatkan throughput. Arsitektur ini mengoordinasikan struktur halaman global melalui cabang tata letak utama sambil mendistribusikan generasi konten terlokalisasi ke cabang-cabang konkuren, dengan memanfaatkan Progressive Multi-Token Prediction untuk mengurangi langkah dekoding.

lab Hugging Face Blog · 11 jam lalu · 1 tayangan

Diffusers menambahkan dukungan inferensi Nunchaku Lite 4-bit asli

Hugging Face Diffusers kini mendukung pemuatan checkpoint Nunchaku Lite secara native melalui `from_pretrained()`, menghilangkan kebutuhan akan mesin inferensi terpisah atau kompilasi CUDA lokal. Integrasi ini memanfaatkan metode SVDQuant untuk menjalankan lapisan transformer dengan bobot dan aktivasi 4-bit (W4A4), secara signifikan mengurangi penggunaan memori sambil meningkatkan kecepatan inferensi.