| Project/Area Number |
22K01014
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 03070:Museology-related
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
赤嶺 有平 琉球大学, 工学部, 准教授 (00433095)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
根路銘 もえ子 沖縄国際大学, 経済学部, 准教授 (60369197)
|
|---|
| Project Period (FY) |
2022-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2026: ¥390,000 (Direct Cost: ¥300,000、Indirect Cost: ¥90,000)
Fiscal Year 2025: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2024: ¥650,000 (Direct Cost: ¥500,000、Indirect Cost: ¥150,000)
Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
|
|---|
| Keywords | 博物館 / ディジタルアーカイブ / 自律走行ロボット / 自律走行 / フォトグラメトリ |
|---|
| Outline of Research at the Start |
本研究では，自律制御ロボットを用いて文化展示施設内の3次元スキャンおよび展示物の位置および名称，その他説明テキスト等の自動認識することで，文化財のデジタルアーカイブ作業の大部分を自動化するシステムを開発し，デジタル展示・ガイダンス及びアーカイブ制作の大幅なコスト削減を目指す．自律制御ロボットは，施設内を自律的に周遊し，撮影及び計測を行う．フォトグラメトリに適した撮影を自動化することで高精度な３次元ディジタルアーカイブを低コストで得ることが期待できる．さらに，深層学習により名称タグや説明テキストを自動認識することで，施設内の「どこに」「なにが」あるか推定し３次元モデルに意味情報を付加する．
|
| Outline of Annual Research Achievements |
当該年度は，博物館内を自動撮影するために必要な環境マップの作成を行う，小型軽量自律走行型撮影ロボットの開発を行った．本研究の目的の一つは，博物館等において展示物を中心に館内をくまなく撮影し，3Dアーカイブを自動生成することである．また，実運用時のコストを可能な限り削減することが求められるため，流通性が高く低価格の汎用部品を組み合わせた設計を行っている．
まず，シミュレーション環境を含むフレームワーク開発を行った．複数ハードウエア間において低遅延なデータ交換が可能であり，Apple社のデバイスをはじめ様々なハードウエアやプログラミング言語に対応している．これにより単体モジュールとしてはほとんど市場に流通していない2D LiDARセンサをiPad経由で利用可能となり，低コストに高性能な自律走行ロボットの構築が可能となった．また，Python, C++, C#の各言語に対応しており，開発が容易なPython，必要に応じてC++, C#などをモジュール単位で組み合わせることが可能である．Pythonは，深層学習をはじめとする機械学習のライブラリが豊富であり画像認識等による制御を容易にコーディングできる．
同フレームワーク，LEGO，Raspbery Pi等の市販の製品を組み合わせることでスキャンロボットの試作を行った．室内において走行実験を行ったところ，障害物を適切に避けながら走行可能範囲内を自律的に周回し，室内の３次元点群モデルを取得可能であることが確認できた．計測・構築された３次元点群モデルは，即時に可視化され，館内のレイアウトを得ることできる．同ロボットの主な目的は，撮影ロボットの自己位置推定精度を向上するための３次元点群と局所特徴量群の生成を行うことである．得られたレイアウトに従って走行計画を入力することで撮影ロボットを安全かつ適切な位置に誘導することが期待できる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
ロボット開発に必要なライブラリの構築を行い，実用可能性の検証ができている．また，自律制御ロボットの実機の試作を行い，実環境において問題なく動作することが確認できている．一方で，撮影画像からデータベースを自動構築するための手法についての研究も進んでいるため，「概ね順調」とした．
|
| Strategy for Future Research Activity |
スキャンロボットから得られる３次元点群および特徴点に基づき，ユーザの指示した経路にしたがって，安全に自律走行を行いながら撮影を行うロボットを構築したライブラリを用いて開発する．撮影ロボットは，電動ズームやピント制御等を行うことで，非常に精密な画像が取得可能となることを目指す．これは人が行う場合に非常にコストがかかる作業であり，カメラに関する知識を要する．また，撮影ロボットにより得られた画像群は，深層学習等の手法を用いて，展示物と説明パネルの検出および結び付けを行う．これにより，館内の３次元モデルが得られるだけでなく，展示されている資料についての３次元モデルと関連するテキストによる説明が結びついたデータベースの自動生成を目指す．
両者の結び付けには，Vision Transformerをはじめとする深層学習モデルを用いることを検討している．物理的な位置関係だけでなく，説明文を深層学習モデルによって解釈する（正確には特徴を得る）ことで意味的な結び付けを行うことを試す予定である．
得られたデータベースは，ディジタルアーカイブとして公開できるだけでなく，AR,VRを活用した展示アプリケーションへの応用が期待できる．
|
