github llama.cpp · 2 jam lalu · inference

llama.cpp b11157 menambahkan conv3d dengan GEMM implisit untuk CUDA

Diterjemahkan dari English → Bahasa Indonesia

Proyek llama.cpp telah merilis versi b11157, memperkenalkan dukungan untuk operasi konvolusi 3D menggunakan GEMM implisit pada CUDA. Pembaruan ini menyempurnakan implementasi untuk menangani kernel kosong dan tersedia di berbagai platform termasuk macOS, Linux, Windows, Android, dan iOS.

Menambahkan conv3d dengan GEMM implisit untuk backend CUDA.
Menyempurnakan logika GEMM implisit conv3d untuk menangani kernel kosong dengan benar.
Menyediakan biner untuk CPU, Vulkan, ROCm, OpenVINO, SYCL, dan Snapdragon di Linux dan Windows.
Termasuk build untuk macOS Apple Silicon (arm64), macOS Intel (x64), dan iOS XCFramework.
Menawarkan build Android arm64 dengan dukungan untuk CPU, GPU Adreno, dan NPU Hexagon.

Rilis ini memperluas kemampuan akselerasi perangkat keras pustaka dengan mengaktifkan operasi konvolusi 3D pada GPU NVIDIA.

Kepentingan 1/3 Kepercayaan 1/3 llama.cpp Inference efficiency

Baca aslinya

llama.cpp b11156 menambahkan dukungan Ling 3.0 VL melalui BailingMoeV3

Proyek llama.cpp telah merilis build b11156, yang memperkenalkan dukungan untuk model Ling 3.0 VL. Pembaruan ini mengintegrasikan Ling 3.0 VL ke dalam arsitektur BailingMoeV3 dan memastikan daftar rope NORM bersama tetap utuh saat gating BailingMoe3 pada bagian mrope.

github llama.cpp · 12 jam lalu · 3 tayangan

llama.cpp v0.5.0 menambahkan dukungan HRM-Text, akselerasi CUDA conv2d, dan pengikatan multi-alamat

Proyek llama.cpp telah merilis versi 0.5.0, dengan fokus pada kinerja backend, cakupan model yang lebih luas, dan operasi server yang lebih andal. Pembaruan ini memperkenalkan dukungan untuk arsitektur baru seperti HRM-Text (DFM Mimir 1B) dan MiMo-V2.6, sambil secara signifikan meningkatkan efisiensi komputasi melalui optimisasi CUDA dan Metal.

lab Microsoft Research Blog · 14 jam lalu · 15 tayangan

Microsoft Research menunjukkan bahwa pengalihan beban inferensi AI fisik meningkatkan kinerja robot dan masa pakai baterai

Microsoft Research menantang asumsi bahwa inferensi AI fisik harus berjalan secara eksklusif pada GPU onboard robot, dengan mendemonstrasikan bahwa pengalihan ke infrastruktur tepi atau cloud secara signifikan meningkatkan beban kerja manipulasi mobile. Studi sistematis mereka terhadap beban kerja robotika mengungkapkan bahwa mengandalkan komputasi onboard membatasi kinerja, masa pakai baterai, dan skalabilitas.

github llama.cpp · 15 jam lalu · 11 tayangan

llama.cpp b11147 menambahkan kernel OpenCL dp4a non-MoE Q6_K A8

Proyek llama.cpp telah merilis versi b11147, yang memperkenalkan kernel biner baru untuk OpenCL. Pembaruan ini secara khusus menambahkan dukungan untuk konfigurasi A8 Q6_K non-MoE dp4a.

github llama.cpp · 17 jam lalu · 9 tayangan

llama.cpp b11140 mengaktifkan sparse-fa untuk prefill dsv4 pada CUDA

Proyek llama.cpp merilis versi b11140, yang mencakup optimasi CUDA yang mengaktifkan sparse-fa untuk prefill dsv4. Pembaruan ini mengatasi masalah kinerja dalam proses pemindaian mask flash attention dengan membuat template kernel untuk memungkinkan unrolling loop pada waktu kompilasi.