github llama.cpp · 2 jam lalu · inference

llama.cpp b11455 menambahkan pra-segmentasi tokenizer PLaMo-3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp merilis build b11455, memperkenalkan dukungan untuk logika pra-segmentasi tokenizer PLaMo-3. Perubahan ini mengimplementasikan batas keras sebelum menjalankan Unigram DP, khususnya di sekitar penanda teks tertentu dan rangkaian karakter atau spasi yang identik.

Menambahkan tipe vocab "plamo3" ke src/llama-vocab.cpp untuk menangani aturan tokenisasi baru.
Mereplikasi pass re.sub() dari implementasi referensi dengan mengenkripsi setiap segmen secara independen.
Memastikan indentasi kode dan tanda baca yang diulang ditokenisasi secara konsisten dengan referensi PLaMo-3.

Pembaruan ini memungkinkan llama.cpp untuk men-tokenisasi input dengan benar untuk model PLaMo-3, sesuai dengan perilaku tokenizer asli.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11454 menambahkan dukungan untuk K2 Horizon dense dan MoVA

Proyek llama.cpp merilis build b11454, yang memperkenalkan dukungan untuk arsitektur model K2 Horizon, termasuk varian dense dan Mixture-of-Value Attention (MoVA).

media Together AI Blog · 2 jam lalu · 1 tayangan

Together AI skala inferensi perusahaan dengan IBM Cloud dan GPU NVIDIA B300

Together AI telah bermitra dengan IBM dan NVIDIA untuk menerapkan klaster inferensi berskala besar yang didedikasikan di IBM Cloud, menggunakan GPU NVIDIA B300 dan jaringan Ethernet Spectrum-X. Infrastruktur ini menandai penerapan pertama jenisnya di IBM Cloud, dengan Together AI sebagai pelanggan awal.

github llama.cpp · 3 jam lalu · 1 tayangan

llama.cpp b11450 menambahkan dukungan tensor RPC dan memperbaiki flush Apple RDMA

Proyek llama.cpp merilis build b11450, memperkenalkan peningkatan panggilan prosedur jarak jauh (RPC) dan perbaikan bug spesifik platform. Pembaruan ini memungkinkan flag `-sm tensor` untuk operasi RPC dan menyelesaikan masalah flush yang memengaruhi implementasi Apple RDMA.

github llama.cpp · 4 jam lalu · 1 tayangan

llama.cpp menambahkan dukungan untuk embedding multimodal embeddingGemma2

Proyek llama.cpp telah menambahkan dukungan untuk model embeddingGemma2, yang menangani input teks, visi, dan audio. Pembaruan ini diimplementasikan melalui pull request #30054.

github llama.cpp · 8 jam lalu · 12 tayangan

llama.cpp b11440 memesan ulang penjadwal ketika flag ekstraksi NextN berubah

Proyek llama.cpp merilis versi b11440, yang mencakup perbaikan untuk inisialisasi MTP spekulatif. Pembaruan memastikan penjadwal dipesan ulang ketika flag ekstraksi NextN berubah, mencegah masalah dengan ekstraksi tanpa masker.