github llama.cpp · 3 hari lalu · inference

llama.cpp b11080 mengizinkan regex di filter -o dan menghentikan pencatatan slice vektor FA

Diterjemahkan dari English → Bahasa Indonesia

Rilis llama.cpp b11080 memperbarui operasi backend pengujian untuk mendukung ekspresi reguler dalam filter `-o`, memungkinkan pencocokan pola untuk nama op sambil mempertahankan kecocokan tepat untuk nama biasa. Ini juga memodifikasi alat `cont` untuk berhenti mencetak log slice vektor Fast Attention ketika tidak diperlukan.

Filter `-o` sekarang memperlakukan entri non-biasa sebagai regex (misalnya, "MUL_MAT.*") terhadap nama op, sementara nama biasa seperti "ADD" tetap menjadi kecocokan tepat.
Teks bantuan untuk `tests/test-backend-ops` telah diformat ulang dengan bagian terpisah untuk mode, opsi, dan contoh.
Binari disediakan untuk macOS, Linux, Windows, Android, dan iOS untuk backend CPU, CUDA, ROCm, Vulkan, OpenVINO, dan SYCL.

Rilis ini menyediakan binari yang diperbarui di berbagai platform dan meningkatkan fleksibilitas filter pengujian.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11156 menambahkan dukungan Ling 3.0 VL melalui BailingMoeV3

Proyek llama.cpp telah merilis build b11156, yang memperkenalkan dukungan untuk model Ling 3.0 VL. Pembaruan ini mengintegrasikan Ling 3.0 VL ke dalam arsitektur BailingMoeV3 dan memastikan daftar rope NORM bersama tetap utuh saat gating BailingMoe3 pada bagian mrope.

github llama.cpp · 2 jam lalu

llama.cpp b11157 menambahkan conv3d dengan GEMM implisit untuk CUDA

Proyek llama.cpp telah merilis versi b11157, memperkenalkan dukungan untuk operasi konvolusi 3D menggunakan GEMM implisit pada CUDA. Pembaruan ini menyempurnakan implementasi untuk menangani kernel kosong dan tersedia di berbagai platform termasuk macOS, Linux, Windows, Android, dan iOS.

github llama.cpp · 12 jam lalu · 3 tayangan

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.

lab Microsoft Research Blog · 14 jam lalu · 15 tayangan

Microsoft Research menunjukkan bahwa pengalihan beban inferensi AI fisik meningkatkan kinerja robot dan masa pakai baterai

Microsoft Research menantang asumsi bahwa inferensi AI fisik harus berjalan secara eksklusif pada GPU onboard robot, dengan mendemonstrasikan bahwa pengalihan ke infrastruktur tepi atau cloud secara signifikan meningkatkan beban kerja manipulasi mobile. Studi sistematis mereka terhadap beban kerja robotika mengungkapkan bahwa mengandalkan komputasi onboard membatasi kinerja, masa pakai baterai, dan skalabilitas.

github llama.cpp · 15 jam lalu · 11 tayangan

llama.cpp b11147 menambahkan kernel OpenCL dp4a non-MoE Q6_K A8

Proyek llama.cpp telah merilis versi b11147, yang memperkenalkan kernel biner baru untuk OpenCL. Pembaruan ini secara khusus menambahkan dukungan untuk konfigurasi A8 Q6_K non-MoE dp4a.