github llama.cpp · 1 jam lalu · inference

llama.cpp b10275 mendekode output OEM Windows ke UTF-8 dalam alat bawaan

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b10275, yang memperbaiki masalah pengkodean karakter di Windows di mana karakter beraksen hilang secara diam-diam. Pembaruan memastikan bahwa teks dari proses anak yang menulis di halaman kode OEM didekode dengan benar ke UTF-8 sebelum mencapai lapisan JSON.

Menyelesaikan masalah di mana byte tidak valid menggantikan output beraksen karena halaman kode OEM non-UTF-8 pada instalasi Windows Barat.
Menggunakan MB_ERR_INVALID_CHARS untuk mengembalikan teks utuh alih-alih mengeluarkan karakter pengganti ketika halaman kode yang salah terdeteksi.
Mencegah dekoding ganda dengan melewatkan teks yang sudah didekode sebagai UTF-8.
Melemparkan urutan akhir yang tidak lengkap sebelum validasi untuk menangani chunk yang dialirkan yang berakhir di tengah karakter multibyte.

Perbaikan ini mempertahankan karakter khusus dalam output alat, memastikan penanganan data yang akurat bagi pengguna pada sistem Windows.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10273 memperbaiki panjang konteks sampler dan menghapus jendela konteks penuh

Proyek llama.cpp merilis build b10273, mengatasi masalah kritis di mana sampler berbasis riwayat tidak dapat menyimpulkan panjang konteks yang benar selama inisialisasi karena kendala backend-sampling.

github llama.cpp · 7 jam lalu

llama.cpp b10269 memperbaiki dflash wo_a reshape saat pemuatan

Proyek llama.cpp telah merilis build b10269, yang mencakup perbaikan untuk masalah reshape dflash wo_a selama pemuatan model.

media Hugging Face Forums · 10 jam lalu

Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan dan kernel Triton terpadu yang bersifat open-source

Seorang pengembang telah merilis arsitektur Perhatian Linear Kausal O(N) dengan Gerbang Peluruhan secara open-source, yang dilengkapi dengan kernel akumulasi keadaan Triton/CUDA terpadu untuk menghindari hambatan MHA kuadratik.

github llama.cpp · 11 jam lalu · 1 tayangan

llama.cpp b10262 menambahkan GATED_LINEAR_ATTN ke backend Vulkan

Proyek llama.cpp merilis build b10262, yang memperkenalkan dukungan untuk operasi GATED_LINEAR_ATTN di backend Vulkan-nya. Pembaruan ini juga mencakup pembaruan dokumentasi untuk operasi Vulkan dan menghapus konstanta spesifikasi GLA yang tidak digunakan.

github llama.cpp · 13 jam lalu

llama.cpp b10259 memungkinkan reshaping tensor selama pemuatan

Proyek llama.cpp telah merilis build b10259, yang memperkenalkan kemampuan untuk memungkinkan reshaping tensor selama proses pemuatan.