github llama.cpp · 2 jam lalu · inference

llama.cpp b10107 memperbaiki crash Windows dan menyediakan biner untuk beberapa platform

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b10107, yang mencakup perbaikan untuk crash Windows yang terjadi ketika fitur op_poll diaktifkan.

Menyelesaikan crash pada Windows saat op_poll aktif (PR #26029).
Menyediakan biner pra-bangun untuk macOS (Apple Silicon dan Intel), Linux (Ubuntu x64, arm64, s390x dengan CPU, Vulkan, ROCm 7.2, OpenVINO, SYCL), Android (arm64), Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, HIP), dan openEuler.
Menonaktifkan dukungan KleidiAI untuk Apple Silicon pada macOS dalam rilis ini.

Pembaruan ini memastikan stabilitas pada sistem Windows yang menggunakan op_poll sambil terus menawarkan dukungan perangkat keras yang komprehensif di seluruh sistem operasi utama dan akselerator.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10105 merestrukturisasi ulang mlock/mmap/directio menjadi satu argumen mode muat

Proyek llama.cpp merilis build b10105, yang memperkenalkan restrukturisasi signifikan pada antarmuka baris perintah dengan menggabungkan flag manajemen memori terpisah menjadi satu argumen `load-mode`.

github llama.cpp · 17 jam lalu

llama.cpp b10099 meningkatkan kuantisasi NVFP4 W4A4 pada CUDA

Proyek llama.cpp merilis versi b10099, yang mencakup pembaruan signifikan pada backend CUDA untuk peningkatan kuantisasi aktivasi NVFP4 W4A4.

github llama.cpp · 19 jam lalu

llama.cpp b10098 memperbarui operasi aktivasi Hexagon

Proyek llama.cpp merilis versi b10098, yang mencakup pembaruan pada operasi aktivasi Hexagon. Rilis ini menyediakan biner untuk macOS, Linux, Android, Windows, dan openEuler di berbagai backend CPU dan GPU.

media Together AI Blog · 21 jam lalu

Together meluncurkan Inferensi Model Dedikasi dengan beta pelatihan kustom

Together telah merilis pembaruan signifikan untuk platform inferensinya, memperkenalkan "Inferensi Model Dedikasi" yang dirancang untuk memberikan pengguna kendali penuh atas kinerja, biaya, dan kualitas untuk model bobot terbuka. Pembaruan ini juga mengumumkan beta tertutup untuk kemampuan pelatihan kustom, termasuk pembelajaran penguatan dengan bobot penuh dan LoRA.

github llama.cpp · 22 jam lalu · 1 tayangan

llama.cpp b10094 menyimpulkan tipe spekulatif dari sidecar repo draf

Proyek llama.cpp merilis versi b10094, memperkenalkan fitur yang secara otomatis mendeteksi tipe decoding spekulatif dari sidecar repositori draf. Sebelumnya, saat menggunakan flag `-hfd` untuk menunjuk ke repositori yang berisi sidecar mtp-, dflash-, atau eagle3- tanpa secara eksplisit menyediakan `--spec-type`, sistem akan salah menyelesaikan draf sebagai model penuh.