2018 Fiscal Year Research-status Report
医学標本館における拡張現実感を用いた学習支援システムの開発
| Project/Area Number |
17K12944
|
|---|
| Research Institution | University of Yamanashi |
|---|
Principal Investigator |
杉浦 篤志 山梨大学, 大学院総合研究部, 助教 (90755480)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 拡張現実技術 / 医学教育 / 学習支援 / ウェアラブル機器 / ジェスチャ認識 |
|---|
| Outline of Annual Research Achievements |
研究代表者の大学には医学標本館があり、ホルマリン液浸の医学標本が展示されている。見学時の標本の説明は、各標本の前に置かれたラベルと医学標本館対応の教職員の解説に頼っており、各見学者の知識レベルや専門分野の差異に合わせた説明は十分であるとは言えない。そのため、医学標本での効果的な学習を目指して、拡張現実感（AR, Augmented Reality）を利用した医学標本における学習支援システムの研究を進めてきた。本研究では見学者に適応的なARによる医学標本の学習支援システムの実現を目指し、以下の3つの機能を追加することを目的とする。
1.光学透過型ヘッドマウントディスプレイを採用し、標本の質感を損なわずジェスチャ操作によるAR環境を構築する。
2.システムの操作履歴や学習履歴を蓄積して見学者の専門性や知識レベルを推定し、見学者の専門性や知識レベルに合わせたAR情報の提示および見学ルートを推奨できるようにする。
3.様々な形状やサイズの標本に対応するために複数のマーカを設定し、複数マーカによって提示される情報を自然に往来できるようにする。
本年度は、光学透過型ヘッドマウントディスプレイを採用し、ジェスチャ操作機能の改良の検討を行った。光学透過型ヘッドマウントディスプレイに搭載されたデプスセンサを用いて直感的ジェスチャ操作機能を構築し、直観的ジェスチャによるラベル操作を実現した。また、その機能によるユーザ評価を進めた。大型の上半身標本や立体形状の胎児標本へのシステム拡張のため、複数マーカによる支援システムの開発を進めた。プロトタイプシステムによるユーザビリティおよび教育的評価によりヘッドマウントディスプレイによるシステムが最も有効であることが確認され、画面解像度やサイバーシックネスの問題も明らかになった。これらの研究成果を国際雑誌に投稿し採択された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は、光学透過型ヘッドマウントディスプレイをシステムに採用し、開発を進めた。ヘッドマウントディスプレイに搭載されたジェスチャでは初心者には操作の習得が必要であり操作性が低かった。そこで直感的ジェスチャ技術を採用し、操作性向上を検討した。ユーザ評価により操作性向上を確認することができたが検出精度の問題等も明らかになった。
大型の上半身標本や立体形状の胎児標本へのシステム拡張のため、複数マーカによる支援システムの開発を進めた。
プロトタイプシステムによるユーザビリティおよび教育的評価によりヘッドマウントディスプレイによるシステムが最も有効であることが確認され、画面解像度やサイバーシックネスの問題も明らかになった。この研究成果は、Anatomical Science Educationで原著論文として掲載された。
|
| Strategy for Future Research Activity |
AR情報についてジェスチャ操作機能の改良を進め問題点を解決していく方針である。
様々な形状に対応するために複数マーカによるシステムの拡張を進めている。ARによる情報を自然に往来できるように開発を進めていく。
医学標本に関するARコンテンツの設定が手動設定の部分が大きく製作者の負担が大きい。自動化できるような仕組みを構築していく。機械学習を用いてユーザの操作や学習履歴の情報からユーザの知識レベルを判断し、それに合わせた情報コンテンツを提供するシステムへ改良を行う予定である。
|
| Causes of Carryover |
タブレット情報端末を1台手配する予定であったが、前年度の購入端末によって開発を進めることが可能であったため、追加の1台は手配しないこととした。透過型ヘッドマウントディスプレイを購入予定であったが来年度に新機種が発売予定であったため今年度の購入を見送った。
|
