2023 Fiscal Year Annual Research Report
DX of surgical training using multimodal VR technology
| Project/Area Number |
22H03310
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
藤原 道隆 名古屋大学, 医学部附属病院, 病院教授 (70378222)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
小山 博史 東京大学, 大学院医学系研究科(医学部), 教授 (30194640)
高見 秀樹 名古屋大学, 医学部附属病院, 病院講師 (40723028)
田中 由浩 名古屋工業大学, 工学(系)研究科(研究院), 教授 (90432286)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 手術教育 / VRシミュレータ / VR博物館 / メタバース |
|---|
| Outline of Annual Research Achievements |
本研究は、デジタル手術教育をフィジカルとサイバーの両面で進めるものである。フィジカル空間の装置としてVR手術シミュレータを有効に用いる一方で、コロナ後も要望が強い遠隔教育に、従来から使用可能な視聴覚以外のモダリティも加えて、実技部分にある程度対応するシステムを開発している。(1)VRシミュレータの新たな活用法として、さらに別のVR手法を上乗せする試みとして、プロジェクションマッピングでさまざまな実写VR映像を併用することとし、2022年度にプロジェクションマッピング・システムの構築を行ったが、光量が不十分で解像度も良くなかったため2023年度に改良を行った。(2）手術室スタッフ向けの教育として、リアルの機器ギャラリーに実機に重ねるAR説明を追加するとともに、HMDで体験する手術機器ギャラリーを作成した。サイバー上の展示、機器の3Dイメージも追加した。 (3)遠隔教育や研究の場としてメタバースのVRセンター（メタバースxRセンター）を作成し、教育セミナーのプロト版を試行した。会場の手術機器ギャラリーの一部を表現したり、実写VR映像から作成するさまざまな診療現場の作成を2024年度にかけて進めているところである。(4)遠隔教育に触覚モダリティを加えるため、訓練者側に配布する触覚ディスプレイであるモックデバイス製作を昨年度から引き続き行なった。汎用型のエネルギーデバイスやステイプラーのハンドル部分の形状のデバイス試作機を、医療スタッフが試用しながらリアリティを高めるよう改良している。この作業は2024年度も引き続き行い、2024年度には実際の手術セミナーの実習で評価する。 (5) さらに嗅覚モダリティについては、エネルギーデバイスを作動させた時に発生するかすかな匂いをアロマシューターで発生させる装置の開発を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
プロジェクションマッピングは、映像の解像度が低く、暗くて見にくい問題に対して、プロジェクターやソフトウェアを変更するなど改善し、実際のVRシミュレータ実習に使用できるようになった。遠隔教育に関しては、メタバースのVRセンターを構築した。手術機器ギャラリーは、ARおよびwebギャラリーのコンテンツ追加とHMDで体験するVRギャラリーを利用可能にした。メタバース空間の壁面などはまだ作成中であるが、2023年度に手術室スタッフ向けのセミナーの予行を行いメタバース内でのプレゼンなどの問題点を明らかにした。問題点に対する改良やコンテンツを追加し、2024年度にメタバースでのセミナーを実際に行う予定である。遠隔学習用の触覚ディスプレイ製作も進んでおり、2024年度中に実際に医療スタッフに試用させることが可能と考えている。嗅覚ディスプレイについては、エネルギーデバイスを生体に作動させた際に発生する匂いを表現するアロマシューターを作成した。人工香料で表現できないか香料を検索している。
|
| Strategy for Future Research Activity |
(1) VR手術シミュレータを取り巻くプロジェクションマッピング・システムにさまざまな映像を提示し、訓練者に対する影響について調べる。(2）外科教育に重要な手術機器に関するリアルとサイバー両面の博物館のコンテンツ開発を継続し、博物館教育を進展させる。これらのコンテンツの視聴方法としては、実機に重ねるAR表示、HMD、web上と複数のVR手法を作成しているが、実際の教育でどのような組合せが効果的か、実際の外科教育に用いながら検討する。(3)2023年度にメタバース会場におけるセミナーのトライアルを行ったが、メタバース空間の作り込みを進め、2024年度には実際のセミナーを行う．(4)遠隔教育は、上述のwebやメタバース・センター(MxR-M+)において実践するが、現在使える視聴覚に触覚を加えた遠隔実技教育法の研究開発を進める。2022年度以来進めている訓練者用の触覚ディスプレイ開発を2024年度も継続する。エネルギーデバイスやステイプラーのハンドル部分の形状を有し、振動などで触覚を伝える機能を内蔵するモックデバイスで、視聴覚と併せたクロスモーダル効果でさまざまなデバイスの現実感を提供することが期待される。2024年度は、医療スタッフに触覚ディスプレイを実際に操作させ、現実感などのデータを取得する予定である。このデバイスに遠隔で把持感や操作感を伝送する技術の研究も行う。(5) 嗅覚VR併用については、エネルギーデバイスを生体に作動させた際に発生する匂いを人工香料で合成する検討を続ける。
|
