2017 Fiscal Year Annual Research Report
Intelligentization of Mixed Reality Exhibition System with Computer Vision and Behavior Analysis
| Project/Area Number |
26282073
|
|---|
| Research Institution | The Open University of Japan |
|---|
Principal Investigator |
近藤 智嗣 放送大学, 教養学部, 教授 (70280550)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
有田 寛之 独立行政法人国立科学博物館, 経営管理部, 専門員 (70342938)
真鍋 真 独立行政法人国立科学博物館, 地学研究部, コレクションディレクター (90271494)
|
|---|
| Project Period (FY) |
2014-04-01 – 2019-03-31
|
| Keywords | コンピュータビジョン / 行動分析 / 複合現実感 / 展示システム / インテリジェント化 |
|---|
| Outline of Annual Research Achievements |
本研究は，博物館の展示メディアに複合現実感技術を応用し，そのシステムをインテリジェント化することが目的である。平成29年度は，アイトラッカー(視線計測システム)を使用して、博物館の展示を観察する際の視線を計測する実験を行った。場所は、新神戸にある竹中大工道具館であった。この実験の対象者は、初めて同博物館を訪れる人で、展示資料である大工道具についての予備知識がない状態であった。この結果からは、展示資料よりも、展示資料のキャプションの注視時間が多い傾向にあることがわかった。平成28年度には、国立科学博物館でマルチメディアタイプの音声ガイドを聞きながら，展示資料を観察する予備実験を行っているが、その時も同様な結果であった。また、竹中大工道具館での実験では、博物館の展示情報の階層構造を認識されていない場合が多いことも知見として得られた。つまり、展示室のテーマ、展示コーナーのテーマがあって、展示資料があることを理解していないため、展示室に複数の展示コーナーを視線が行ったり来たりしているという結果であった。この結果は、放送大学のTV番組「博物館情報・メディア論('18)」で紹介した。これらの知見は、複合現実感のコンテンツを開発する際の重要な要素であり、展示資料を観察するように促すタイミングなどのガイドラインとすることが可能になると考えている。
本科研費の申請時に予測していたこととして、実空間とバーチャルなオブジェクトの位置合わせ手法の技術向上があった。申請時には、光学式センサーなど高価で大規模な仕組みが必要であったが、最近のスマートフォンでは、センサーやマーカーがなくても、床面や壁面のパターンを取り込み、スマートフォンに内蔵された各種センサーと併用することで、高精度な位置情報を得られるようになってきた。これまでに開発したコンテンツは、この新技術に対応するように移植していく予定である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
アイトラッカー（視線計測システム）の導入よって、客観的な行動分析が可能となり、より実証的な研究が可能になっている。また、最近のスマートフォンでも高精度な位置合わせが可能になり、実用化が現実的なものになってきている。現在、コンテンツはシステムを移植中であり、申請時の計画を概ね満たせる見通しがでてきている。
|
| Strategy for Future Research Activity |
平成30年度は、本科研費研究の最終年度であるため、最終的な実験と総括を行う計画である。主に始祖鳥のコンテンツが対象となるが、スマートフォンをデバイスとして、最新のAR技術であるAppleのARKitやGoogleのARCoreを採用して床面や壁面のパターンで位置合わせ可能なシステムに移植する。また、アイトラッカーを使用した実験結果を踏まえて音声ガイドの提示方法などを見直し、コンテンツにも改良を加える。コンテンツの実装方法を決定できない要素については、実験用に条件を変えた提示方法のコンテンツを用意して実験計画を立てる。これらが整った段階で、国内の博物館での実験、および、ドイツ・チュービンゲンのIWM-KMRCとの共同研究としてドイツでも実験を行う計画である。現在のところ、フランクフルトのゼンケンベルグ自然史博物館が候補になっている。本科研費申請の最終年度は、移動しなければ見渡せないくらいの大規模な空間での実験を計画しており、この実験計画も進める。導入しているアイトラッカーは博物館の館内を移動しながらでも使用できるシステムであり、アイトラッカーを併用した実験が可能なように進める。
|
| Causes of Carryover |
(理由) 最新の位置合わせ技術がスマートフォンで使用できるようになり、その採択の検討を行っていたため、当該年度は、コンテンツやシステム開発をを内製の範囲内で実験的に行った。そのため、経費の使用額が少なかった。
(使用計画) 平成30年度は、上記の新システムに移植するために外部委託を行うことと、ドイツとの共同研究を実施するための経費が必要になり、システム移植、コンテンツ改良、国内とドイツでの実験が可能なように計画を進めている。
|
Research Products
(2 results)
