2022 Fiscal Year Research-status Report
博物館のDX推進を目指したデジタルコンテンツの自動生成システムの開発
| Project/Area Number |
22K01014
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
赤嶺 有平 琉球大学, 工学部, 准教授 (00433095)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
根路銘 もえ子 沖縄国際大学, 経済学部, 准教授 (60369197)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Keywords | ディジタルアーカイブ / 自律走行 / 博物館 |
|---|
| Outline of Annual Research Achievements |
本研究は、自律走行ロボットを用いた博物館等施設内の自動三次元スキャンシステムを構築することで、資料展示におけるDXの推進を目指している。博物館内の未知の空間においても、自律走行ロボットにより施設内を自動三次元スキャンすることで、博物館の収蔵品をより広く国民に展示・解説することに貢献することが期待できる。さらに、博物館以外の分野においても、自律走行ロボットを使用した施設内の自動スキャンに応用できる可能性がある。
開発において、博物館には展示物の安全性を守るために進入禁止となっているエリアがあり、このエリアを回避する必要があるという課題がある。そのため、物理的な進入可否だけでなく、画像認識技術等により意味的な進入禁止区域を推定し、ロボットが安全に走行可能な経路を走行する自律走行モデルを開発した。
一般的に、ロボット開発ではシミュレーション環境を使用して開発やテストを行う。また、展示物破損のリスク回避のためにも、シミュレータの利用が重要である。しかしながら、既存のフレームワークを利用した場合、複数の問題があることが確認された。そこで、自律走行による自動スキャンアルゴリズムの開発のために、独自のシミュレーション環境を構築した。
シミュレーション環境において、ロープパーティションにより侵入禁止区域を明示した展示室のモデルを構築し、提案アルゴリズムを実装したロボットモデルの走行実験をおこなったところ、未知空間において、侵入禁止区域を回避しつつ自動スキャン可能なことが確認できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ロボットの開発に先行して、マルチプラットフォームのゲームエンジンであるUnityをシミュレーション環境として利用し、Lego Mindstormsを実機プロトタイピングに使用するためのロボット開発ライブラリを実装した。メッセージの送受信にはGoogle Protocol Buffersを用い、UDPを通じて直接送信先のアドレスとポートを指定する方式を採用することで、ネットワーク周りのトラブルシューティングを容易にした。Visual SLAMにはORB SLAM3を使用し、Unity内のカメラから得られるカラー画像と深度画像をリアルタイムにORB SLAM3やPython、C++のライブラリで取得することができる。
さらに、同シミュレータを利用して、館内の自動スキャンを行うロボットモデルを開発した。本課題において、単純に障害物を回避する移動制御を行うだけでは、ロボットが侵入禁止エリアに進入してしまう可能性がある。意味的な侵入禁止の代表的なものとして、ロープパーティションがあり、1m程度の高さのバーを数m間隔で設置し、その間をロープで結んだものである。本研究では、深度画像と画像処理を組み合わせ、ロープパーティションを認識し、侵入を回避するアルゴリズムを開発した。セマンティックセグメンテーションにより、画像からロープを認識し、ロボットの減速制御を行い、その上で、深度画像から床面から高さ1。5m以下に何らかの物体を検出した場合、侵入禁止と判断するアルゴリズムとしている。深度画像は解像度が低いためロープのような細い物体が検出されないことがある。これをより高解像度なカメラと画像処理を組み合わせることで精度向上を狙った。
|
| Strategy for Future Research Activity |
館内の自動３次元スキャンを実現するために、３次元地図を構築、移動可能区域の推定、撮影経路の決定を行う小型軽量スキャナーロボットと、精密な測定を行うための高解像度光学センサ（一眼レフなど）及び高精度LiDARセンサを搭載した撮影ロボットの２種類の開発を行う。
スキャナーロボットは、プラスチックによるシャシーと軽量小型モータを用いることで、可能な限り軽量な車体を目指す。軽量化することで、衝突時の環境及び機体のダメージを最小化できる。現時点ではLego Mindstormsを用いてシャシー及び駆動系を構築し、ラズベリーパイまたはNVIDIA Jetson nanoを用いた制御を行う予定である。これにiPad等のデプスセンサを組み合わせる。まず、博物館を模した実環境を用意し、走行実験を行う。安全性が確認でき次第、実際の博物館内での実走実験を行う。
撮影ロボットは、スキャナーロボットが構築した館内の３次元地図を利用して安全に走行する。一眼レフカメラを人の視線程度の高さに安定して保持し、撮影する必要があるため、金属を用いた頑健なフレームが必要となる。撮影品質向上のための頑健性を確保しつつリスク軽減のため可能な限り軽量化する必要があるため、アルミフレームによるシャシー、市販の一眼レフカメラ、ポータブルバッテリーを利用する予定である。制御系はスキャナと同様にラズベリーパイ等のシングルボードコンピュータを用い、サーボモータにより駆動系を構築する。さらに衝突回避のため全方位LiDARセンサを搭載する。
|
| Causes of Carryover |
より安全性を高めるために，自律走行ロボットを機能を分割し，軽量スキャナーロボットと撮影ロボットを開発することになった．より材料費が安価な，軽量スキャナロボットの開発を先行し，撮影ロボットについてはLidarセンサの性能実験をおこなった．繰越分については，撮影ロボットの材料費（アルミフレーム等）に当てる．
|
