| 研究課題/領域番号 |
20K19937
|
|---|
| 研究機関 | 山梨大学 |
|---|
研究代表者 |
杉浦 篤志 山梨大学, 大学院総合研究部, 助教 (90755480)
|
|---|
| 研究期間 (年度) |
2020-04-01 – 2023-03-31
|
| キーワード | 拡張現実感技術 / 医学教育 / 学習支援 / ウェアラブル機器 / ジェスチャ認識 |
|---|
| 研究実績の概要 |
本学には医学標本館があり，学内の医学初学者，県内のコ・メディカル領域の学生が見学に訪れる．見学者への標本の説明は，札と教職員の解説に頼っているが見学者にとって十分であるとは言えない．医学標本での効果的な学習を目指して，AR技術に着目し，ARによって実物の標本に仮想情報を重畳表示することで人体構造の理解への相乗効果が期待できると考え，医学標本館におけるAR見学支援システムを構築した．
既存システムでは，モニタ提示による標本の質感の再現性不足や仮想ラベルなどのARによる平面的なUIのみで人体構造の立体的理解には不十分な場合があり，実物の標本と3D解像CGを組み合わせたシステムは実現できていない．また，医学標本館見学はグループ学習に最適な場であるがユーザ間のAR情報共有が困難なため，その場を有効活用できていなかった．そこで，3D解剖ＣＧや解剖模型を利用したARによる空間的UIを実現し，ARマルチユーザ環境による協調学習支援システムへ展開させることを目指すために，以下の3つのシステムを開発する．
１．光学透過型HMDを使用することで，自然な視界に仮想医情報を重畳表示することが可能となり，医学標本の質感を維持したAR情報を提示する．
２．標本と3D解剖CGを統合させたAR環境に，ARのジェスチャ操作機能およびセンサを埋め込んだ解剖模型によるAR操作機能を合わせ，ARによる空間的Iを適応する．
３．ネットワーク技術を利用した複数のHMDを用いた情報共有と三人称支店映像による視点共有を適応することでARマルチユーザ環境を提供する．
初年度は，透過型ヘッドマウントディスプレイを導入し，既存システムへの適応を行った．また，3Dプリンタにより造形した解剖模型とシステムとの連携する部分を構築し，被験者実験を実施した．
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
初年度は，ARによる学習支援の既存システムに透過型ヘッドマウントディスプレイを適用するようにシステムを組み込んだ．システムにとって検出しにくい標本があったが標本の背景に黒色の布を設置し，コントラスト比を上げることで検出しやすいように改善した．
3Dプリンタにより解剖模型を造形し，加速度センサを埋め込み透過型ヘッドマウントディスプレイとの情報通信部部のシステムを構築した．解剖模型による仮想情報の操作についての被験者実験を実施し，解剖模型による操作が有効であることが確認できた．
|
| 今後の研究の推進方策 |
解剖模型による仮想情報の操作については，基本機能を実装したが，さらにARとしての連携ができるように実装を進めていく．また，現状では加速度センサによる情報取得しかできていないが，センサには様々な種類がある．センサについて調査を進めシステムにとって有効なセンサを見出し，さらなる快適なUI開発を進めていく．
2台の光学透過型ヘッドマウントディスプレイ間での情報通信部分についても基本的なシステムの実装を進めていく．
|
| 次年度使用額が生じた理由 |
新型コロナの影響により，被験者実験の人数を減少させたための謝金や学会の参加のための旅費を来年度へ繰り越した。
人体3DCGモデルデータを購入予定であったが，来年度に新製品が発売予定であったため今年度の購入を見送った。
|
