Intelligentization of Mixed Reality Exhibition System with Computer Vision and Behavior Analysis

2016 Fiscal Year Annual Research Report

• Project/Area Number: 26282073
• Research Institution: The Open University of Japan
• Principal Investigator: 近藤 智嗣 放送大学, 教養学部, 教授 (70280550)
• Co-Investigator(Kenkyū-buntansha): 有田 寛之 独立行政法人国立科学博物館, その他部局等, その他 (70342938) ; 真鍋 真 独立行政法人国立科学博物館, その他部局等, その他 (90271494)
• Project Period (FY): 2014-04-01 – 2019-03-31
• Keywords: コンピュータビジョン / 行動分析 / 複合現実感 / 展示システム / インテリジェント化

Outline of Annual Research Achievements

本研究は，博物館の展示メディアに複合現実感技術を応用し，そのシステムをインテリジェント化することが目的である。平成28年度は，数社から販売されているアイトラッカー（視線計測システム）を比較検討した。比較検討のための条件は，本研究の目的に直接影響するため先行研究などを調査して課題を抽出することで検討した。これを踏まえて，博物館で一般の来館者が館内を移動しながら体験する際に最適であることを前提にした。条件としては，無線によりシーンカメラ映像をモニターできること，両眼計測でき奥行き方向の位置もある程度検出できること，キャリブレーションが容易で使用中にキャリブレーションをし直す必要がないこと，ユーザーの発話を記録できるマイクを備えていることなどであった。また，記録される計測データを本研究で開発予定の独自のツールによって分析できることも前提であった。平成28年度は，こうした条件の確認として，国立科学博物館地球館の２か所の展示コーナーにおいて，マルチメディアタイプの音声ガイドを聞きながら，展示資料を観察する予備実験を行った。その結果，音声ガイドの解説内容・方法により，展示資料そのものよりも解説パネルの方に注視時間が多い場合があり，展示の意図と乖離している状況があることが示唆された。また，展示資料とマルチメディアタイプの音声ガイドの画面の両方を見比べる際に視線位置の抽出は可能であったが，ディスプレイの明るさ調整などの課題が見出された。今後の本実験に向けてこれらの知見を生かし，課題を改善していく計画である。

Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

本研究の目的は，博物館の展示メディアに複合現実感技術を応用し，そのシステムをインテリジェント化することである。そのための第1段階として，平成26年度は，iPad miniとiPhoneを使用した複合現実感展示ガイドを開発して展示実験を行い，本システムの実用性を確認することができた。平成27年度は，前年度の実験結果をもとにコンテンツの提示方法を改良し，コンテンツをスマートフォンやタブレットのアプリとして開発し，体験者の行動ログを記録する機能等についても目処がたった。また，平成28年度は，アイトラッカーによる視線計測の確認ができ，行動分析の指標を多角的に得られることになった。インテリジェント化としては，アイトラッカーを導入することで，視線によりコンテンツの提示内容を変えるという可能性もでき，最新の技術を導入したシステムへと広がりを見せている。

Strategy for Future Research Activity

平成29年度は，始祖鳥のコンテンツ，全長約1.6ｍの小型植物食恐竜オスニエロサウルスの骨格，博物館内を移動しながら体験するというそれぞれの実験を行う予定である。その行動分析の指標としてアイトラッカーも使用し，実験データを収集する。また，このデータは時系列の膨大なビッグデータになり，その分析方法を検討し，分析ツールなどの開発も行っていく。また，共同研究としては研究分担の国立科学博物館だけでなく，ドイツの研究所(IWM)においても実験を進め，研究発表ができるようにする計画である。

Causes of Carryover

アイトラッカーを使用して博物館見学者の視線計測および行動分析を行っており，ドイツの研究所(IWM)とも共同研究を行う予定であったが，アイトラッカーの納品の時期と先方との調整がつかず，共同研究が次年度に持ち越されたため。

Expenditure Plan for Carryover Budget

平成29年度にドイツとの共同研究を実施するため，実験時の旅費およびコンテンツ開発ができるよう計画を進めている。