2021 Fiscal Year Research-status Report

医学標本館における解剖学学習のためのAR協調学習支援システムの開発

Research Project

Project/Area Number	20K19937
Research Institution	University of Yamanashi
Principal Investigator	杉浦篤志山梨大学, 大学院総合研究部, 助教 (90755480)
Project Period (FY)	2020-04-01 – 2023-03-31
Keywords	拡張現実感技術 / 医学教育 / 学習支援 / ウェアラブル機器 / ジェスチャ認識
Outline of Annual Research Achievements	本学には医学標本館があり，学内の医学初学者，県内のコ・メディカル領域の学生が見学に訪れる．見学者への標本の説明は，札と教職員の解説に頼っているが見学者にとって十分であるとは言えない．医学標本での効果的な学習を目指して，AR技術に着目し，ARによって実物の標本に仮想情報を重畳表示することで人体構造の理解への相乗効果が期待できると考え，医学標本館におけるAR見学支援システムを構築した．既存システムでは，モニタ提示による標本の質感の再現性不足や仮想ラベルなどのARによる平面的なUIのみで人体構造の立体的理解には不十分な場合があり，実物の標本と3D解像CGを組み合わせたシステムは実現できていない．また，医学標本館見学はグループ学習に最適な場であるがユーザ間のAR情報共有が困難なため，その場を有効活用できていなかった．そこで，3D解剖ＣＧや解剖模型を利用したARによる空間的UIを実現し，ARマルチユーザ環境による協調学習支援システムへ展開させることを目指すために，以下の3つのシステムを開発する．１．光学透過型HMDを使用することで，自然な視界に仮想医情報を重畳表示することが可能となり，医学標本の質感を維持したAR情報を提示する．２．標本と3D解剖CGを統合させたAR環境に，ARのジェスチャ操作機能およびセンサを埋め込んだ解剖模型によるAR操作機能を合わせ，ARによる空間的Iを適応する．３．ネットワーク技術を利用した複数のHMDを用いた情報共有と三人称支店映像による視点共有を適応することでARマルチユーザ環境を提供する．本年度は，3Dプリンタにより造形した解剖模型とシステムとの連携するシステムの外部発表を行った．ARによる空間的UIの構築や2台の透過型HMDのネットワーク通信の部分の開発を進めた．
Current Status of Research Progress	Current Status of Research Progress 3: Progress in research has been slightly delayed. Reason 本年度は，透過型ヘッドマウントディスプレイによるAR表示可能な標本の点数を増加させた．3Dプリンタによる解剖模型と透過型ヘッドマウントディスプレイとの情報通信部分のシステムについて外部発表を行った．ARによる空間的UIの構築や2台の透過型ヘッドマウントディスプレイ間での情報のやり取りをネットワークを利用しシステムを構築した．
Strategy for Future Research Activity	ARシステムによる情報を提示できる標本の点数を増加させていく．解剖模型に内蔵するためのセンサについてARとの連携ができるように調査し実装を進めていく．2台の光学透過型ヘッドマウントディスプレイ間でのデータの通信について効率の良い技術について調査・研究し実装を進めていき独自の空間的UIについて開発していく．
Causes of Carryover	新型コロナの影響により，被験者実験の人数を減少させたための謝金や学会の参加のための旅費を来年度へ繰り越した． 3Dプリンタを購入予定であったが，来年度に新製品が発売予定であったため今年度の購入を見送った．