2017 Fiscal Year Annual Research Report
Development of an Immersive, VR-Based, Learning-Support System Using Augmented Reality and Kinect
| Project/Area Number |
26330410
|
|---|
| Research Institution | Nagoya Bunri University |
|---|
Principal Investigator |
周 欣欣 名古屋文理大学, 情報メディア学部, 教授 (30262645)
|
|---|
| Project Period (FY) |
2014-04-01 – 2018-03-31
|
| Keywords | 教育支援 / Virtual Reality / Mix Reality / Augmented Reality / Image Processing / Google Tango / Deep Learning / HTC Vive |
|---|
| Outline of Annual Research Achievements |
本研究の目的は、最新の情報技術を用いて、学生が体験しながら、楽しく学習でき、教育過程を効率良く進める新しい教育支援システムの開発である。VR技術を応用し、各種センサーを組み合わせて、立体視で体験しながら学ぶ歴史体験・体感ゲームの開発を行った。360度映像の制作を行った。教科書に基づくデジタルコンテンツの作成を行った。ARアプリとして、教科書の付加情報を提供するため実写に3DCGアニメの合成を実現した。計画書に定めた①教育エンターテインメントと高度臨場感を持つ教育環境の開発；②最新の技術と測定装置に基づき教育支援アプリケーションの開発；③高度電子コンテンツを持つ教材の作成を実現できた。教育分野では教育内容に合わせて3Dコンテンツを考案することは当初初めての試みである。
H29年度は、以下の成果を得た。携帯可能なMR（Mix Reality）アプリの開発を行い、スマホやiPhoneに実装し動作確認した。新しいセンサーViveTrackerやWindowsMRを追加してインターラクティブVRゲームを開発した。UnityとUE4を利用して、頭部に装着したVive(HMD)と左右のハンドコントローラ、足首に付けたViveTrackerで、人とキャラクターモデルの動きを連動させる体感ゲームを開発した。教育活動の自動化を図るため、AIを利用した教育支援アプリケーションの開発を行った。空間認識技術搭載のスマホPhab2Proを利用して、実空間と仮想空間が融合したARアプリの開発を行った。全天球カメラ『RICOH R Development Kit』を利用して、教育の現場をライブストリーミングして、教育支援の実験を行った。ビッグデータと深層学習ライブラリを利用して画像認識の実験を行った。将来画像処理で学生の進行状況を自動的に教員にフィードバックするアプリケーションの開発を進める予定である。
|
