2020 Fiscal Year Research-status Report
Digital guidance system with interactive media using augmented reality for museum
| Project/Area Number |
19K01142
|
|---|
| Research Institution | University of the Ryukyus |
|---|
Principal Investigator |
赤嶺 有平 琉球大学, 工学部, 准教授 (00433095)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
根路銘 もえ子 沖縄国際大学, 経済学部, 准教授 (60369197)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 拡張現実 / 博物館 / 物体検出 / ユーザインタフェース |
|---|
| Outline of Annual Research Achievements |
本研究の目的は，博物館等において展示物に対する学習者（来館者）の直観的な理解を促進し，知識の一方的な提供だけでなく，学習者からのフィードバックを得ることが可能な双方向性をもたらすディジタルガイダンスシステムの開発である．AR（拡張現実）を活用することで，展示物とその説明文や図を直観的に結びつけることができ，通常のパネルによる説明で生じる「説明対象は何か？」を学習者自身が考えることが不要となる．さらに，学習者が何をどの順序で見たのかを分析することで，興味関心や実質的な動線の推定が可能となり，展示方法，配置等の改善につなげることもできる．
ARを用いたガイダンスシステムの実現には，展示物の位置を検出する仕組みが重要となる．展示物にラベルを重畳表示（実写画像と生成画像の重ね合わせ）する為には，撮影画面上の展示物の二次元位置を推定する必要がある．今年度は，推定手法として1)ARフレームワークを用いた自己位置姿勢推定を用いる手法，2)深層学習を用いた物体検出による手法について調査，開発を行い適切な手法の検討を行った．
推定手法1)として，無料で利用でき，かつ入手性の高いハードウエア（iPhone, iPad など）で動作しリアルタイムな自己位置姿勢推定が可能なARフレームワークであるARKitの適用可能性について検証した．ARKitはユースケースとして，ユーザがどこにいるかに関わらず，3DCGを利用した特定のコンテンツを重畳表示する利用方法を想定している．そのため，テンポラリーなシーンモデルをリアルタイム生成し，ユーザ自身が指示した位置への3DCGの配置，表示に適したライブラリとなっている．推定手法2)に関連して，深層学習による物体検出手法を利用する上で課題となる学習データセットの準備コストを削減する手法の開発を行った．同成果は情報処理学会第83回全国大会において発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
概要欄で述べたように1)ARフレームワークを用いた自己位置姿勢推定を用いる手法，2)深層学習を用いた物体検出による手法について調査，開発を主に行った．
手法1)について，提案システムでの利用を想定し，展示物との相対的な位置姿勢を推定可能か，またその精度について実験により検証した．実験は，学内博物館の実際の展示物および展示物を模した陶器等を配置した模擬環境により行った．その結果，以下のような知見が得られた．①ARKitを用いて展示物等にラベルを重畳表示するには，展示物を含む周囲の画像上の特徴をARKitと携帯端末により記録する作業が必要となる．必要な精度を得るには特定の要領に従う必要がありエンドユーザによる実施ハードルは高いと思われる．②必要な精度が得られるまで試行錯誤する必要がある．③ARKitの内部処理がブラックボックスである．以上の結果を踏まえ，前述したように特定の場所へフィットしたコンテンツの表示が現時点で想定されていないことから，ARKitのみで要件を満たすことは困難と結論づけた．
手法2)の利用には，学習データセットを用意するためのコストについて慎重に検討する必要がある．本研究が想定するタスクでは，公開されているデータセットを利用することができないため，認識対象を様々な角度から撮影し，各画像中の対象物の位置及び名称をラベル付する必要がある．この作業を全ての認識対象に対して実施する必要があるため，全体の作業量が膨大となる．そこで，本研究では，数枚の写真から対象物の立体形状とテクスチャを再構成する手法（Photogrammetry）を用いて前述の撮影画像とラベルを自動生成することで同作業を削減する手法を提案し，良好な結果を得た．
|
| Strategy for Future Research Activity |
今年度は，新型コロナウイルスの影響により博物館等におけるアンケート調査が実施できなかった．そのため当初計画を変更し，提案システムにおける利用を想定したコンテンツの自動生成手法の開発を行った．提案手法は，展示パネル等で提示されている説明文章に基づきクイズとその正答例の自動生成を目指したものであり，基礎実験によりある程度生成可能であることを示した．令和３年度においても，感染状況は収束しておらず今後の見通しが不透明なため，アンケート調査等，不特定多数との接触を伴う作業を極力避け，システムの開発及び前述のコンテンツ生成技術等，ガイダンスシステムを運用する上で必要な作業を簡略化するための手法の開発を行う．具体的には，検出された展示物の履歴に基づき学習者の興味関心の可視化，実動線の推定手法，深層学習モデルを活用した展示物ごとの特徴を可視化する手法の開発を行う．
|
| Causes of Carryover |
新型コロナウイルスの影響により，出張がキャンセル（各種学会等が遠隔実施）となった．また，博物館等によるアンケート調査が難しくなったため，計画を変更し写真測量を活用した新たな手法の開発を行った，そのため，旅費等として計上していた分を活用し写真測量用の撮影機材を購入したものの，市場価格が想定よりも安価であったため残額が生じた．
残額分は，写真測量計算及び深層学習用サーバの購入費用として活用する予定である．
|
Research Products
(2 results)
