media Hugging Face Forums · 1 jam lalu · open_models

mlx-smolvla memungkinkan eksekusi native checkpoint SmolVLA dengan MLX di Apple Silicon

Diterjemahkan dari English → Bahasa Indonesia

Proyek open-source mlx-smolvla menyediakan runtime Python untuk mengeksekusi checkpoint SmolVLA menggunakan MLX di Apple Silicon, dengan fitur inferensi, server protokol LeRobot, dan pratinjau untuk pelatihan LoRA. Benchmark pada Apple M5 Pro menunjukkan jalur MLU mencapai latensi median 110,75 ms untuk chunk 50 aksi, yang 1,85× lebih cepat daripada PyTorch-MPS.

Runtime adalah native MLX tanpa dependensi Torch atau Transformers.
Jalur kompatibilitas CPU yang ketat memastikan perbandingan deterministik dengan PyTorch, sementara Metal menggunakan pemeriksaan statistik.
Proyek ini mencakup server kebijakan yang mengimplementasikan protokol gRPC inferensi asinkron LeRobot.
Pelatihan LoRA saat ini merupakan pratinjau penelitian dengan validasi paritas terbatas.

Penulis mencatat bahwa checkpoint basis mentah tidak memiliki antarmuka aksi fisik yang efektif dan memerlukan checkpoint yang ditinjau dengan statistik robot yang cocok untuk klien gerakan.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Hardware & chips Local inference

Baca aslinya

NVIDIA meluncurkan PAIR untuk klaster AI pribadi

NVIDIA telah memperkenalkan PAIR, sebuah alat yang dirancang untuk membantu pengguna menghubungkan perangkat keras lama ke dalam klaster AI pribadi. Inisiatif ini bertujuan memanfaatkan perangkat yang ada untuk menjalankan beban kerja AI secara lokal.

media Hugging Face Forums · 26 hari lalu · 17 tayangan

RunSnack memungkinkan berbagi GPU P2P melalui satu tautan

RunSnack adalah alat yang memungkinkan pengguna berbagi komputasi GPU secara langsung dengan orang lain melalui satu tautan, menghilangkan kebutuhan akan akun atau platform cloud. Alat ini menargetkan peneliti dan mahasiswa ML yang membutuhkan akses jangka pendek ke perangkat keras seperti A100s atau 4090s tanpa infrastruktur tradisional.

media Hugging Face Forums · 14 jam lalu · 1 tayangan

Heshware mengeksplorasi lapisan memori berbasis grafik untuk AI lokal

Heshware sedang menyelidiki apakah graf dinamis yang diaktifkan dari node memori dapat berfungsi sebagai lapisan memori jangka panjang yang dapat diinterpretasikan untuk model bahasa lokal. Proposal ini berasal dari Marven Neural Node Network, awalnya sebuah visualisasi interaktif dari pemrosesan kognitif.

github llama.cpp · 19 jam lalu · 1 tayangan

llama.cpp b10816 menambahkan penyetelan fa-vec untuk M3 dan biner baru

Proyek llama.cpp telah merilis versi b10816, yang mencakup pembaruan pada backend Metal untuk perangkat Apple Silicon. Rilis ini berfokus pada penambahan penyetelan fast-vector yang tersisa secara khusus untuk arsitektur chip M3.

github llama.cpp · 1 hari lalu · 2 tayangan

llama.cpp b10796 menambahkan n_expert_used_max untuk memperbaiki pemuatan Nemotron-3-Puzzle

Proyek llama.cpp merilis build b10796, yang mencakup perubahan pada pemuat model untuk mendukung model dengan jumlah ahli yang berbeda per lapisan.