github llama.cpp · baru saja · inference

llama.cpp b10772 menambahkan dukungan F16 ABS ke backend Hexagon HTP

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b10772 memperluas cakupan operasi unari F16 pada backend Hexagon Tensor Processor (HTP) dengan menambahkan dukungan untuk fungsi nilai mutlak (ABS).

Pembaruan ini memperkenalkan kernel dan dispatcher hvx_abs_f16 di hvx-arith.h, meniru struktur sqr_f16 yang sudah ada.
ABS didaftarkan sebagai operasi HTP_OP_UNARY yang didukung, memungkinkan ggml_hexagon_precompute_unary_params mengisi parameter kernel untuk node F16.
Basis kode menggabungkan fungsi execute_op_unary_f32 dan f16 yang terpisah menjadi satu fungsi execute_op_unary untuk menghindari duplikasi plumbing VTCM/DMA.
Verifikasi pada perangkat di QRD8850 (Hexagon v81) mengonfirmasi 8/8 tes lulus untuk ABS F16 dan F32 tanpa fallback CPU.

Perubahan ini memungkinkan komputasi nilai mutlak yang efisien dalam presisi FP16 pada perangkat keras Hexagon yang kompatibel, memperluas jangkauan operasi unari yang didukung untuk inferensi seluler.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b10773 menerima URL data untuk input video dan audio

Server llama.cpp dalam build b10773 sekarang menerima URL data untuk bidang `input_video` dan `input_audio`, menyelesaikan masalah sebelumnya di mana input tersebut salah diperlakukan sebagai string base64 mentah.

github llama.cpp · 6 jam lalu · 2 tayangan

llama.cpp b10766 menambahkan dukungan visi untuk DeepSeek 4

Proyek llama.cpp telah merilis build b10766, yang mencakup perbaikan untuk mendukung input visi secara benar untuk model DeepSeek 4.

github llama.cpp · 7 jam lalu · 4 tayangan

llama.cpp b10762 menambahkan dukungan untuk DeepSeek-V4-Flash-Vision-Exp

Proyek llama.cpp telah merilis build b10762, yang memperkenalkan dukungan untuk model DeepSeek-V4-Flash-Vision-Exp. Pembaruan ini juga mencakup penanganan jumlah token minimum dan maksimum dari antarmuka baris perintah.

github llama.cpp · 7 jam lalu · 5 tayangan

llama.cpp b10763 mengaktifkan preserve_reasoning secara default

Proyek llama.cpp merilis build b10763, yang mengubah perilaku default dari argumen kata kunci `preserve_reasoning` template chat. Server sekarang mencatat status efektif kwarg ini dan mengeluarkan peringatan ketika diaktifkan secara default pada template yang mendukungnya.

github llama.cpp · 14 jam lalu · 1 tayangan

llama.cpp b10760 memperbaiki stabilitas inferensi Qwen3-tts-0.6b

Proyek llama.cpp merilis build b10760, yang mencakup perbaikan spesifik untuk model Qwen3-tts-0.6B guna mencegah ketidakstabilan numerik selama inferensi.