Intelligentization of Mixed Reality Exhibition System with Computer Vision and Behavior Analysis

2018 Fiscal Year Annual Research Report

• Project/Area Number: 26282073
• Research Institution: The Open University of Japan
• Principal Investigator: 近藤 智嗣 放送大学, 教養学部, 教授 (70280550)
• Co-Investigator(Kenkyū-buntansha): 有田 寛之 独立行政法人国立科学博物館, 経営管理部, 専門員 (70342938) ; 真鍋 真 独立行政法人国立科学博物館, 地学研究部, コレクションディレクター (90271494)
• Project Period (FY): 2014-04-01 – 2020-03-31
• Keywords: コンピュータビジョン / 行動分析 / 複合現実感 / 展示システム / インテリジェント化

Outline of Annual Research Achievements

本研究は，博物館の展示メディアに複合現実感技術を応用し，そのシステムをインテリジェント化することが目的である。キーワードに挙げている1)コンピュータビジョン，2)行動分析，3)複合現実感，4)展示システム，5)インテリジェント化の5つの要素技術が融合されることで，新たな展示システムを提案するものである。この要素技術の中で，特にコンピュータビジョン，複合現実感，インテリジェント化に関しては，バーチャルリアリティ（人工現実感）とAI（人工知能）として，本研究の申請時からの数年間で，格段に進歩し普及した。こうした社会変化に対応するため，本研究では，複合現実感の専用機器からスマートフォンやタブレット端末をターゲットデバイスとする等の見直しを図りつつ進めてきた。実空間とバーチャルなオブジェクトの位置合わせ技術においても，本研究の申請時には，光学式センサーなどの大規模な仕組みが必要であったが，最近のスマートフォンでは，特殊なセンサーやマーカーがなくても，床面や壁面のパターンを取り込み，スマートフォンに内蔵された各種センサーと併用することで位置情報を得られるようになっている。また，行動分析においても，博物館内を移動しながら体験者の視線を計測できるアイトラッカーを導入した実験を行うなど，本研究の応用として，より実用的かつ精度を向上させるようにしている。これらの状況から，研究期間を1年延長させていただき，システム移植、コンテンツ改良，国内とドイツでの実験が可能なように計画を進めている。

Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

本研究の申請時以降におけるバーチャルリアリティ（人工現実感）とAI（人工知能）技術の急激な進歩・普及，および，移動しながら使用できるアイトラッカーによる行動分析に対応するため，研究期間を1年延長させていただき，システム移植，コンテンツ改良，国内とドイツでの実験が可能なように計画を進めている。

Strategy for Future Research Activity

1年延長させていただき本科研費研究の最終年度となるため，最終的な実験と総括を行う計画である。始祖鳥と衛星放送のコンテンツを対象として，システム移植とコンテンツの改良を行う。ターゲットデバイスは，スマートフォンとタブレット端末として，AppleのARKitを採用して床面や壁面のパターンで位置合わせ可能なシステムに移植する。また，博物館内を移動しながら視線計測が可能なアイトラッカーを使用した行動分析が可能なようにする。準備が完了次第，国内の博物館，および，ドイツ・チュービンゲンのIWM-KMRCとの共同研究としてドイツでも実験を行う計画である。現在のところ、フランクフルトのゼンケンベルグ自然史博物館が候補になっている。

Causes of Carryover

(理由) 複合現実感関連技術の進歩・普及に伴い，実空間とバーチャルオブジェクトの位置合わせが，スマートフォンやタブレット端末で使用できるようになり，そのコンテンツやシステム開発を内製で行っていること，また，国内およびドイツとの共同研究としての実験を次年度に行うことになったため，経費の使用額が少なかった。
(使用計画) 上記の新システムに移植するための人件費，および，国内外の実験に必要な経費として使用する。