博物館のDX推進を目指したデジタルコンテンツの自動生成システムの開発

Research Project

Project/Area Number	22K01014
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 03070:Museology-related
Research Institution	University of the Ryukyus
Principal Investigator	赤嶺有平琉球大学, 工学部, 准教授 (00433095)
Co-Investigator(Kenkyū-buntansha)	根路銘もえ子沖縄国際大学, 経済学部, 准教授 (60369197)
Project Period (FY)	2022-04-01 – 2027-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000) Fiscal Year 2026: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000) Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000) Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Keywords	ディジタルアーカイブ / 自律走行 / 博物館 / フォトグラメトリ
Outline of Research at the Start	本研究では，自律制御ロボットを用いて文化展示施設内の3次元スキャンおよび展示物の位置および名称，その他説明テキスト等の自動認識することで，文化財のデジタルアーカイブ作業の大部分を自動化するシステムを開発し，デジタル展示・ガイダンス及びアーカイブ制作の大幅なコスト削減を目指す．自律制御ロボットは，施設内を自律的に周遊し，撮影及び計測を行う．フォトグラメトリに適した撮影を自動化することで高精度な３次元ディジタルアーカイブを低コストで得ることが期待できる．さらに，深層学習により名称タグや説明テキストを自動認識することで，施設内の「どこに」「なにが」あるか推定し３次元モデルに意味情報を付加する．
Outline of Annual Research Achievements	本研究は、自律走行ロボットを用いた博物館等施設内の自動三次元スキャンシステムを構築することで、資料展示におけるDXの推進を目指している。博物館内の未知の空間においても、自律走行ロボットにより施設内を自動三次元スキャンすることで、博物館の収蔵品をより広く国民に展示・解説することに貢献することが期待できる。さらに、博物館以外の分野においても、自律走行ロボットを使用した施設内の自動スキャンに応用できる可能性がある。開発において、博物館には展示物の安全性を守るために進入禁止となっているエリアがあり、このエリアを回避する必要があるという課題がある。そのため、物理的な進入可否だけでなく、画像認識技術等により意味的な進入禁止区域を推定し、ロボットが安全に走行可能な経路を走行する自律走行モデルを開発した。一般的に、ロボット開発ではシミュレーション環境を使用して開発やテストを行う。また、展示物破損のリスク回避のためにも、シミュレータの利用が重要である。しかしながら、既存のフレームワークを利用した場合、複数の問題があることが確認された。そこで、自律走行による自動スキャンアルゴリズムの開発のために、独自のシミュレーション環境を構築した。シミュレーション環境において、ロープパーティションにより侵入禁止区域を明示した展示室のモデルを構築し、提案アルゴリズムを実装したロボットモデルの走行実験をおこなったところ、未知空間において、侵入禁止区域を回避しつつ自動スキャン可能なことが確認できた。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason ロボットの開発に先行して、マルチプラットフォームのゲームエンジンであるUnityをシミュレーション環境として利用し、Lego Mindstormsを実機プロトタイピングに使用するためのロボット開発ライブラリを実装した。メッセージの送受信にはGoogle Protocol Buffersを用い、UDPを通じて直接送信先のアドレスとポートを指定する方式を採用することで、ネットワーク周りのトラブルシューティングを容易にした。Visual SLAMにはORB SLAM3を使用し、Unity内のカメラから得られるカラー画像と深度画像をリアルタイムにORB SLAM3やPython、C++のライブラリで取得することができる。さらに、同シミュレータを利用して、館内の自動スキャンを行うロボットモデルを開発した。本課題において、単純に障害物を回避する移動制御を行うだけでは、ロボットが侵入禁止エリアに進入してしまう可能性がある。意味的な侵入禁止の代表的なものとして、ロープパーティションがあり、1m程度の高さのバーを数m間隔で設置し、その間をロープで結んだものである。本研究では、深度画像と画像処理を組み合わせ、ロープパーティションを認識し、侵入を回避するアルゴリズムを開発した。セマンティックセグメンテーションにより、画像からロープを認識し、ロボットの減速制御を行い、その上で、深度画像から床面から高さ1。5m以下に何らかの物体を検出した場合、侵入禁止と判断するアルゴリズムとしている。深度画像は解像度が低いためロープのような細い物体が検出されないことがある。これをより高解像度なカメラと画像処理を組み合わせることで精度向上を狙った。
Strategy for Future Research Activity	館内の自動３次元スキャンを実現するために、３次元地図を構築、移動可能区域の推定、撮影経路の決定を行う小型軽量スキャナーロボットと、精密な測定を行うための高解像度光学センサ（一眼レフなど）及び高精度LiDARセンサを搭載した撮影ロボットの２種類の開発を行う。スキャナーロボットは、プラスチックによるシャシーと軽量小型モータを用いることで、可能な限り軽量な車体を目指す。軽量化することで、衝突時の環境及び機体のダメージを最小化できる。現時点ではLego Mindstormsを用いてシャシー及び駆動系を構築し、ラズベリーパイまたはNVIDIA Jetson nanoを用いた制御を行う予定である。これにiPad等のデプスセンサを組み合わせる。まず、博物館を模した実環境を用意し、走行実験を行う。安全性が確認でき次第、実際の博物館内での実走実験を行う。撮影ロボットは、スキャナーロボットが構築した館内の３次元地図を利用して安全に走行する。一眼レフカメラを人の視線程度の高さに安定して保持し、撮影する必要があるため、金属を用いた頑健なフレームが必要となる。撮影品質向上のための頑健性を確保しつつリスク軽減のため可能な限り軽量化する必要があるため、アルミフレームによるシャシー、市販の一眼レフカメラ、ポータブルバッテリーを利用する予定である。制御系はスキャナと同様にラズベリーパイ等のシングルボードコンピュータを用い、サーボモータにより駆動系を構築する。さらに衝突回避のため全方位LiDARセンサを搭載する。