Pollen Roboticsは、ロボットやテレオペレーション rigs を必要とせずに現実世界のロボット操作データを記録するために設計されたオープンソースのハンドヘルドデバイスであるGrabetteをリリースした。このシステムは魚眼カメラとRGBD深度カメラを使用して6自由度(DoF)の軌跡を捉え、ユーザーがブラウザベースのダッシュボードを通じて処理し、Hugging Face Hubで共有できるクリーンなデータセットを生成できるようにする。
デバイスはRaspberry Pi、Piカメラ、OAK-D深度カメラなど、標準的な市販部品から構築されており、低コストかつ再現性を確保している。データはカメラローカルの6自由度カルテシアン姿勢とグリッパーの状態として保存され、さまざまな学習手法との互換性のためにLeRobotデータセット形式で出力される。リリースには、記録されたデモンストレーション上でポリシーをトレーニングする方法を示す例のパイプラインが含まれている。
この目標は、誰もが大規模な協調的な操作データセットに貢献できるようにすることで、ロボット学習への参入障壁を下げることにあります。データ収集を動画の録画と同じくらい簡単にすることにより、Pollen Roboticsは現在分野を阻害している多様な現実世界のデータの供給問題を解決することを目指しています。