2019 Fiscal Year Research-status Report
Digital guidance system with interactive media using augmented reality for museum
| Project/Area Number |
19K01142
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
赤嶺 有平 琉球大学, 工学部, 准教授 (00433095)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
根路銘 もえ子 沖縄国際大学, 経済学部, 准教授 (60369197)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 博物館 / 展示案内 / ディジタルガイダンス / 拡張現実 / AR |
|---|
| Outline of Annual Research Achievements |
本研究課題は，AR(拡張現実)を用いた博物館における利用者の興味関心を推定するガイダンスシステムの開発を目的としている．提案システムは，AR技術を用いて見学者(来館者)が，興味のあるモ ノに端末を向けるだけで直感的に情報を得ることができるようなUI(ユーザーインタフェース)を目指している. 一方，主催者側へ，利用ログを提供することで個々の展示物に対する興味関心や，大型の展示物のどの箇所に興味を持っているかなどの情報を提供し展示効果の分析に役立てることができる．初年度である2019年度においては，提案システムにおいて有効なインタフェースを検証するため，沖縄県にある世界遺産の一つである中城城跡におけるグスク時代の戦闘の様子を再現，さらに城壁の構造が実際の戦いにおいてどのように機能したかを能動的に学習することができるインタラクティブコンテンツを開発し沖縄県立博物館の特別展において実際に展示した．展示アプリケーションを多くの来館者に実際に試してもらい，実装したインタフェースの有効性を来館者アンケートを用いて分析したところ，スマートホンやタブレットに慣れている層（４０代未満）では特に説明なく直感的に操作することができることが示された．
一方，実際の展示物に対して自動ガイダンスを実現するには利用者が何をみているのかを，端末内蔵のカメラ画像から推定する必要がある．そのため，深層学習を用いた物体検出手法性能の向上に関して研究を並行して行った．深層学習は，認識，検出精度が訓練データセットの量や質に大きく影響され，データセットの作成コストが大きな問題となるが，本研究では，少ないデータセットから高精度な検出器を生成する手法の開発に取り組んでいる．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究では，補助事業期間中に以下のような複数のマイルストーンを想定している．
1)平面マーカを認識して3DCGやラベルを表示，2)展示物を認識してラベルを表示，利用者の興味関心の推定，3)利用者の移動経路のトラッキング，4)平面マーカなしの展示物に対する3DCGの重畳表示
初年度は，1の平面マーカによる３DCG及びラベルを表示するインタラクティブコンテンツを製作し，沖縄県立博物館において開催された「グスク展」（琉球王国のグスク及び関連遺産群世界遺産登録20周年記念特別展）において展示，UIに関するアンケート調査を行った．また，タブレットの操作に不慣れな利用者においてもユーザーの自然かつ単純な動作で対象物に対する選択式入力動作を行えるUIを実現するため，タブレットを両手で保持した状態で画面中央に表示された任意の対象を選択するUIを実装し，多数の来館者からフィードバック（１００件程度）を得た．フィードバックの分析から，立体的な対象物の特定の箇所を指し示す手段として，提案手法がある程度有効であることが示された．一方でA地点からB地点へ物を動かすといった複雑な操作は，特に年齢の高い層ほど直感的に操作できない割合が増えることもわかった．以上のことから，初年度は「概ね順調」とした．
|
| Strategy for Future Research Activity |
マイルストーンのうち，2)展示物を認識してラベルを表示，利用者の興味関心の推定，4)平面マーカなしの展示物に対する3DCGの重畳表示，の実現は十分な量の学習データセットを用意することで既存のアルゴリズムを用いて十分に実現可能であると思われる．したがって，今後の研究では，実務上可能な作業量と必要な精度を実現するのに必要なサンプル数のトレードオフについて最適，または準最適解を探ることも並行して行う．一方，3)利用者の移動経路のトラッキング，については利用者の三次元位置を推定する必要がある．画像認識による認識精度の限界を探ると同時にble beacon等安価な手法を組み合わせることで精度向上に取り組む．
|
| Causes of Carryover |
深層学習実験用コンピュータの調達費用が当初見積もりを下回ったため，次年度使用額が生じた．今年度はさらに多くの深層学習実験を行うためより高性能なコンピュータを購入する．
|
| Remarks |
グスク・ぐすく・城 －動乱の時代に生み出された遺産－琉球王国のグスク及び関連遺産群世界遺産登録20周年記念特別展
https://okimu.jp/userfiles/files/autoupload/2019/10/1569909139.pdf
第７章 ARで再現するグスクの戦闘
|
Research Products
(1 results)
