lab NVIDIA Research · baru saja · research

Twill secara otomatis menurunkan jadwal pipelining perangkat lunak dan spesialisasi warp optimal untuk GPU Tensor Core

Diterjemahkan dari English → Bahasa Indonesia

Para peneliti memperkenalkan Twill, sebuah sistem yang memformulasikan pipelining perangkat lunak (SWP) dan spesialisasi warp (WS) sebagai masalah optimasi gabungan yang dapat diselesaikan oleh pemecah kendala siap pakai. Pendekatan ini mengotomatisasi penurunan jadwal eksekusi optimal untuk program iteratif pada arsitektur GPU.

Twill bebas heuristik dan dijamin menghasilkan jadwal optimal untuk kelas besar program iteratif.
Sistem ini dapat menemukan kembali dan membuktikan optimalitas jadwal SWP dan WS yang dikembangkan secara manual oleh para ahli untuk Flash Attention.
Validasi dilakukan pada kedua arsitektur GPU NVIDIA Hopper dan Blackwell.

Dengan mengganti heuristik kompilasi yang rapuh dan intuisi manusia dengan optimasi holistik, Twill memastikan pemanfaatan maksimal unit fungsi tetap dan inti tujuan umum di GPU modern yang kompleks.

Kepentingan 1/3 Kepercayaan 3/3 NVIDIA Research Hardware & chips Inference efficiency

Baca aslinya

llama.cpp b10675 menambahkan dukungan hoisting untuk ID baris dan jumlah ahli dalam shader

Proyek llama.cpp merilis versi b10675, yang mencakup pembaruan kunci pada backend Vulkan-nya. Rilis ini menambahkan dukungan hoisting untuk ID baris dan jumlah ahli di dalam kode shader.

github llama.cpp · 12 jam lalu · 1 tayangan

llama.cpp menambahkan penyetelan fa-vec untuk Apple M4 Pro

Proyek llama.cpp telah menambahkan penyetelan vektor perhatian cepat (fa-vec) untuk GPU Apple M4 Pro melalui kontribusi backend Metal baru. Pembaruan ini mengikuti pekerjaan sebelumnya untuk mendukung GPU Apple tambahan dan dihasilkan menggunakan alat `ggml-metal-tuning` pada MacBook Pro 14 inci dari November 2024.

github llama.cpp · 2 hari lalu · 4 tayangan

llama.cpp b10643 menambahkan dukungan multi-NPU dan backend Hexagon sepenuhnya asinkron

Proyek llama.cpp merilis versi b10643, memperkenalkan dukungan untuk perangkat multi-NPU (IQ9, IQ10) dan backend sepenuhnya asinkron untuk arsitektur Hexagon.

media Hugging Face Forums · 3 hari lalu · 4 tayangan

EdgeFirst menerbitkan pipa Rust untuk memvalidasi model YOLO di 20 platform tepi

EdgeFirst telah menerbitkan EdgeFirst Model Zoo di Hugging Face, menampilkan model YOLOv5, YOLOv8, YOLO11, dan YOLO26 yang divalidasi di 20 platform tepi yang berbeda. Validasi ini mengandalkan satu pipa Rust yang menangani pra-pemrosesan DMA tanpa salinan, dekoding model, dan pasca-pemrosesan secara langsung pada perangkat keras target.

github llama.cpp · 3 hari lalu · 3 tayangan

llama.cpp b10628 menambahkan dukungan transportasi RPC Apple RDMA

Proyek llama.cpp telah merilis versi b10628, memperkenalkan dukungan untuk Apple RDMA sebagai mekanisme transportasi panggilan prosedur jarak jauh (RPC).