media Hugging Face Forums · 1 jam lalu · open_models

Calibra: Observabilitas Dataset Robot untuk LeRobot

Diterjemahkan dari English → Bahasa Indonesia

Calibra adalah toolkit open-source yang dirancang untuk mengaudit dataset robot dan mengidentifikasi masalah kualitas sebelum pelatihan. Ini menyediakan alat untuk membangun coreset yang sadar kualitas dan memperkirakan hasil pelatihan.

Pemeriksaan Kesehatan Dataset Robot: sebuah Space interaktif untuk mengaudit dataset LeRobot.
Sebuah benchmark dari 30 dataset LeRobot publik dengan skor kesehatan dan diagnostik.
Kemampuan pemilihan coreset yang sadar kualitas dan prediksi hasil pelatihan.
API Python dan CLI untuk integrasi.

Toolkit ini bertujuan membantu pengguna memahami kualitas dataset di awal alur kerja.

Kepentingan 1/3 Kepercayaan 1/3 Hugging Face Forums Hugging Face Evaluation & benchmarks Robotics

Baca aslinya

Hume merilis benchmark Real World VoiceEQ untuk kualitas suara AI manusia

Hume telah memperkenalkan Real World VoiceEQ, sebuah benchmark yang dirancang untuk mengevaluasi kualitas interaksi suara manusia dengan menilai seberapa baik sistem mengenali dan menghasilkan informasi akustik di luar transkrip. Benchmark ini mengevaluasi lebih dari 40 model proprietary dan open-source di atas 15+ dimensi menggunakan lebih dari 60 metrik yang berasal dari 785.000 penilaian manusia TTS dan 48.000 penilaian STS.

lab NVIDIA Technical Blog · 17 hari lalu

NVIDIA memperkenalkan metode untuk mengevaluasi kebijakan robot tujuan umum

NVIDIA mengatasi tantangan evaluasi rigoris model fondasi robotika, yang kini dapat mengikuti instruksi bahasa alami untuk memanipulasi objek. Perusahaan mengidentifikasi evaluasi sebagai masalah kritis yang belum terpecahkan dan menyajikan metode baru untuk mengatasi masalah ini.

arxiv arXiv cs.CL · 20 hari lalu · 3 tayangan

PolicyShiftGuard memperkenalkan benchmark dan model untuk guardrails gambar adaptif kebijakan

Peneliti memperkenalkan PolicyShiftBench, sebuah benchmark dengan 2.000 instance di atas 265 gambar, untuk mengevaluasi apakah model beradaptasi terhadap kebijakan keamanan aktif daripada mengandalkan prior tingkat gambar. Mereka juga mengusulkan PolicyShiftGuard, sebuah model kompak 7B yang dilatih melalui Randomized Policy SFT dan Boundary-Pair Policy Adaptation untuk menangani pergeseran kebijakan.

arxiv arXiv cs.CL · 21 hari lalu · 3 tayangan

GaP harness menghasilkan grafik komputasi terarah untuk otomatisasi variatif yang andal

Peneliti memperkenalkan Graph-as-Policy (GaP), sebuah harness pemrograman multi-agen yang dirancang untuk menjembatani kesenjangan keandalan dalam tugas Otomatisasi Variatif dengan menggabungkan pemrograman yang dapat diinterpretasikan dengan adaptabilitas tanpa model. GaP menghasilkan grafik komputasi terarah yang berisi node persepsi, perencanaan, dan kontrol dari Modular Open Robot Skill Library (MORSL) dan menggunakan simulasi internal untuk berlatih dan menyempurnakan struktur-struktur ini.

media r/LocalLLaMA · 28 hari lalu · 2 tayangan

InternScience Rilis Agents-A1, Model MoE 35B dengan Benchmark yang Luar Biasa

InternScience telah merilis model Agents-A1 di Hugging Face, dengan arsitektur Mixture of Experts (MoE) 35 miliar parameter. Rilis ini mencakup laporan teknis yang tersedia di arXiv dan disorot karena kinerja benchmarknya yang luar biasa.