2019 Fiscal Year Research-status Report
現実と仮想空間を融合する遺産・遺跡等屋外展示用モバイル型MR,SR教材の開発
| Project/Area Number |
19K03033
|
|---|
| Research Institution | Saga University |
|---|
Principal Investigator |
中村 隆敏 佐賀大学, 芸術地域デザイン学部, 教授 (70509786)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | MR / VR,SR / 教材開発 |
|---|
| Outline of Annual Research Achievements |
近年、博物館や科学館等における体験型学習の方策として、VR（Virtual Reality：仮想現実）やAR（Augmented Reality：拡張現実）による学習支援教材が普及してきた。没入型や学習情報支援として一定の成果を納めているが、屋内における教材が多数を占め、屋外におけるMR（Mixed Reality：実写とCGの合成による複合現実）の教材はまだ少ない。
本研究は世界遺産や遺跡、史跡、古墳、城跡、窯跡等の国内に現存する歴史的、文化的な価値を持つ屋外における学習資産展示場において、専用HMD（ヘッドマウントディスプレイ）を装着し移動しながら、MR,SR環境として現実空間情報と仮想空間情報を融合させ、映像として違和感なく過去と現在を結びつけ、学習対象を学びながら体験する教材開発である。
開発対象とする学習展示物は、MRとして、仮想空間を現実空間に重ね合わせて見せることで、現実の世界の中の関心領域を学習対象として増幅・強調させ、それを違和感なく体験できる。
さらに、SR（Substitutional Reality：代替現実）として、鑑賞者が移動しながら展示物への関心を示す行動に反応し、仮想空間上で時代設定に応じたリアルな人物ナビゲーターが現実空間展示物の解説を行う。それに伴い、今は朽ち果てた遺跡がリアリティを持った建造物として上書きされていく。このように、現実の世界と仮想の映像を融合させて、本来実在しない人物や事象、事物が実時間及び実空間に存在し、現実時間・空間と過去空間あるいは虚構の空間の間を往還しながら、現実世界が代替されていく中で豊かに学べる環境構築を目指す。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
１年目は屋外向けモバイル型の教材コンテンツの実装を可能にする技術的かつ開発企画デザインの知見を調査し情報の収集を行なった。さらにデバイスの選択と環境構築、さらに位置情報モーションキャプチャ用センシングの技術的な最適化を検証した。
現実空間と仮想空間の融合および屋外学習用モバイル型MR,SR教材の有効性の検証は、技術的な環境構築の検討と教材作成におけるコンセプトや企画デザインが重要となる。仮想現実関連技術はゲームや映画、遊戯施設のアトラクション等の屋内娯楽分野への応用が著しい。その技術的な部分は屋内活用でも同等であり、国内や海外のVRやCG関連の学会、研究施設、開発プロダクションを視察する。
|
| Strategy for Future Research Activity |
屋外モバイル型MRデバイスの環境構築と位置情報センシングの最適化検証技術的な検証は屋外において位置情報を取得しリアルタイムにCGを上書きしていく必要がある。
鑑賞者が保持するHMDのモーションキャプチャ用センシングをGPSと近距離及び遠距離において取得する技術的な最適化を検証する。視聴対象資料の現実映像とCGの仮想映像が違和感なく融合するにはHMDの位置情報を明示するセンシングが重要である。
・MR,SRによる現実空間と仮想空間の融合教材コンテンツ開発
鑑賞者が現実空間を認識するためのカメラとマイクを設置したHMDを視聴デバイスとし、そこに位置情報と学習内容に即した3DCGを上書きし現実空間と仮想空間を融合できるサンプル教材コンテンツを開発する。開発当初は屋内専用モーションキャプチャスタジオにおいて、モーションキャプチャと連動させたセンシングと3DCG表示の融合度合いを検証してい
く。そのため事前に教材設計や興味関心に応じた資料準備、ビデオ映像やCGの作成を行う。
|
