arxiv arXiv cs.AI · 8 jam lalu · research

Show-Harness memungkinkan agen VLM mengendalikan robot melalui antarmuka semantik yang ringkas

Diterjemahkan dari English → Bahasa Indonesia

Para penulis menyajikan Show-Harness, sebuah Harness Berbadan yang memungkinkan model visi-bahasa (VLM) mengendalikan robot melalui antarmuka semantik ringkas yang menghubungkan niat ke aksi. Sistem ini mengekspos unit aksi semantik diskrit untuk penalaran VLM dan menggunakan interpreter spesifik perwujudan untuk mengaitkannya dengan aksi robot lokal.

Secara langsung membuka kunci VLM frontier tertutup-sumber untuk pengendalian robot zero-shot.
Menyesuaikan VLM open-source skala kecil untuk penyebaran biaya rendah dengan hanya beberapa jam GPU fine-tuning.
Memperkenalkan GUMI (GUI Manipulation Interface) untuk memperluas ruang aksi semantik untuk pengumpulan demonstrasi berbasis GUI.

Agen VLM yang dilengkapi Show-Harness menggeneralisasi secara robust di seluruh tugas, perwujudan, dan lingkungan, mengalahkan paradigma agen dan VLA yang representatif tanpa memerlukan kapasitas model tambahan atau pra-pelatihan spesifik perwujudan yang mahal.

Kepentingan 2/3 Kerangka evaluasi baru dengan pembeda arXiv cs.AI AI agents Robotics

Baca aslinya

Generalist AI merilis GEN-1.5, model dasar robot yang belajar tugas dari satu demonstrasi

Generalist AI telah merilis GEN-1.5, sebuah model dasar robot berorientasi penelitian yang mampu mempelajari tugas manipulasi fisik baru dari satu demonstrasi 3–12 detik melalui jendela konteks 30-detiknya. Kemampuan ini, yang disebut "physical prompting", muncul secara spontan dari lebih dari delapan bulan pelatihan pra-terus-menerus pada data interaksi fisik, bukan dirancang secara eksplisit.

lab Hugging Face Blog · 28 hari lalu · 24 tayangan

Strands Agents mengintegrasikan LeRobot dan Hugging Face Storage Buckets untuk loop data robot yang berkelanjutan

AWS memperkenalkan Strands Agents untuk memungkinkan loop berkelanjutan dari perekaman, pelatihan, dan penyebaran kebijakan robot menggunakan dataset LeRobot dan Hugging Face Storage Buckets. Integrasi ini memungkinkan agen menyinkronkan demonstrasi ke bucket yang dapat diubah dengan deduplikasi tingkat byte dan mengalirkan dataset langsung dari Hub untuk pelatihan tanpa unduhan penuh.

media MarkTechPost · 42 hari lalu · 24 tayangan

Google DeepMind merilis Gemini Robotics 2 untuk kontrol seluruh tubuh dan ketangkasan

Google DeepMind telah merilis Gemini Robotics 2, lapisan kecerdasan yang terdiri dari tiga model yang dirancang untuk memungkinkan kontrol seluruh tubuh, ketangkasan lima jari, dan kolaborasi multi-robot. Rilis ini mencakup model Vision-Language-Action (VLA), VLM penalaran berbadan, dan VLA perangkat tepi, melampaui kemampuan manipulasi meja sebelumnya.

lab Google DeepMind Blog · 42 hari lalu · 21 tayangan

Google memperkenalkan Gemini Robotics 2 untuk kontrol seluruh tubuh dan kolaborasi multi-robot

Google telah memperkenalkan Gemini Robotics 2, lapisan kecerdasan yang dirancang untuk memberikan robot adaptif kontrol seluruh tubuh yang cerdas, ketangkasan canggih, dan kemampuan untuk berkolaborasi dalam tim. Pembaruan ini memperluas kemampuan AI fisik melampaui tugas-tugas sempit dan berulang dengan memungkinkan robot bernalar tentang gerakan dan beradaptasi dengan cepat ke tubuh baru.

lab Google DeepMind Blog · 42 hari lalu · 27 tayangan

Google meluncurkan Gemini Robotics ER 2 dengan pemahaman video dan kolaborasi multi-robot

Google telah meluncurkan Gemini Robotics ER 2, model penalaran berbadan baru yang dirancang untuk membantu robot berpikir cepat dan merencanakan tugas multi-langkah secara real-time. Pembaruan ini memperkenalkan peningkatan signifikan dibandingkan versi ER 1.6 sebelumnya, termasuk pelacakan kemajuan berbasis video secara berkelanjutan, pencarian momen presisi, dan kemampuan kolaborasi multi-robot asli.