github llama.cpp · baru saja · inference

llama.cpp b10773 menerima URL data untuk input video dan audio

Diterjemahkan dari English → Bahasa Indonesia

Server llama.cpp dalam build b10773 sekarang menerima URL data untuk bidang `input_video` dan `input_audio`, menyelesaikan masalah sebelumnya di mana input tersebut salah diperlakukan sebagai string base64 mentah.

Fungsi `handle_media()` diperbarui untuk meneruskan `true` untuk jenis konten ini, memungkinkan tipe MIME video dan audio dalam validasi URL data.
Input yang tidak valid sekarang mengembalikan error 400 alih-alih error 500 dengan melempar `std::invalid_argument`.
Flag `accept_base64_uri` telah dihapus dari `handle_media`, menyederhanakan kode.
Sebuah unit test dan komentar yang diperbarui ditambahkan untuk menangani tipe MIME URI data yang tidak valid.

Perubahan ini meningkatkan ketangguhan server dengan memberikan penanganan error yang lebih jelas untuk input media yang tidak valid.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 6 jam lalu · 4 tayangan

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 6 jam lalu · 5 tayangan

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.

github llama.cpp · 13 jam lalu · 1 tayangan

llama.cpp b10758 menambahkan fusi MUL_MAT dan MUL_MAT_ID untuk Hexagon

Proyek llama.cpp merilis build b10758, memperkenalkan kemampuan fusi MUL_MAT dan MUL_MAT_ID untuk DSP Hexagon. Pembaruan ini juga mencakup beberapa perbaikan untuk meningkatkan stabilitas dan kinerja pada perangkat keras Qualcomm.