github llama.cpp · 2 jam lalu · inference

llama.cpp b11156 menambahkan dukungan Ling 3.0 VL melalui BailingMoeV3

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis build b11156, yang memperkenalkan dukungan untuk model Ling 3.0 VL. Pembaruan ini mengintegrasikan Ling 3.0 VL ke dalam arsitektur BailingMoeV3 dan memastikan daftar rope NORM bersama tetap utuh saat gating BailingMoe3 pada bagian mrope.

Menambahkan dukungan model Ling 3.0 VL dengan mengintegrasikannya ke dalam arsitektur BailingMoeV3.
Mempertahankan integritas daftar rope NORM bersama selama gating bagian mrope untuk BailingMoe3.
Menyediakan biner untuk macOS (Apple Silicon dan Intel), iOS, Linux (CPU, Vulkan, CUDA, ROCm, OpenVINO, SYCL, Snapdragon), Android, Windows, dan openEuler.

Rilis ini memungkinkan pengguna menjalankan model Ling 3.0 VL di berbagai platform perangkat keras dan sistem operasi.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency Local inference

Baca aslinya

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.

github llama.cpp · 19 jam lalu · 12 tayangan

llama.cpp b11136 menambahkan dukungan video_url OpenAI ke llama-server

Proyek llama.cpp merilis build b11136, yang memperbarui llama-server untuk menerima jenis konten "video_url" standar OpenAI untuk input video. Sebelumnya, server hanya menerima tipe non-standar "input_video" dan menolak URI data, menyebabkan masalah kompatibilitas dengan klien yang sesuai dengan OpenAI.

github llama.cpp · 1 hari lalu · 12 tayangan

llama.cpp b11122 memperluas fusi MMVQ GLU dan menambahkan fusi SYCL baru

Proyek llama.cpp telah merilis versi b11122, yang mencakup pembaruan signifikan untuk backend SYCL. Rilis ini memperluas fusi MMVQ GLU untuk mendukung jenis kuantisasi campuran dan memperkenalkan fusi baru untuk operasi rms_norm+scale dan ssm_conv+silu.

github llama.cpp · 1 hari lalu · 15 tayangan

llama.cpp b11120 menyembunyikan simbol internal Vulkan untuk memperbaiki penghancuran state

Proyek llama.cpp merilis versi b11120, yang mengatasi bug kritis pada backend Vulkan dengan menyembunyikan simbol internal. Perubahan ini mencegah masalah penghancuran state akibat duplicate-dlopen yang terjadi ketika simbol internal diekspor.

github llama.cpp · 1 hari lalu · 13 tayangan

llama.cpp b11118 memperkenalkan direktori DMA terpetakan langsung untuk penanganan mask FA HVX

Proyek llama.cpp telah merilis build b11118, yang mencakup fitur hex-dma baru yang memperkenalkan direktori DMA terpetakan langsung lebih cocok untuk penanganan mask FA Hexagon Vector eXtended (HVX).