研究者らは、OpenGlassを発表しました。これは、センシングとコンピューティングを分離し、盲目および低視力ユーザー向けに低遅延のマルチモーダル視覚支援を提供するオープンソースシステムです。このアーキテクチャは、ESP32ベースのグラスユニットを使用して視覚的コンテキストを取得しつつ、近くの消費者デバイスがローカルMLLM推論を実行し、デフォルトでは生データをユーザー管理のデバイスに保持します。

  • 実際のESP32 Wi-Fiキャプチャにおいて、リサイズされたペイロードでは993 ms、生1280 x 720ペイロードでは1625 msという中央値のユーザーから音声への遅延を実現しました。
  • リサイズされたペイロードでは試行の97.5%が2秒未満に収まり、生ペイロードでは93.3%がその範囲内に収まりました。
  • このシステムは、認証済みナビゲーション支援装置ではなく参照プラットフォームとして、障害物/危険の認識、標的/物体照会、および画像品質の自己チェックをサポートします。

OpenGlassは、ウェアラブルハードウェアでのローカル推論を可能にすることで、クラウドMLLMアシスタントに関連するクラウド依存とネットワーク遅延を削減します。