2024 Fiscal Year Research-status Report
Constructing a clinical support technology education method incorporating DX into nursing and medical practical training without compromising quality.
| Project/Area Number |
24K15872
|
|---|
| Research Institution | Osaka Electro-Communication University |
|---|
Principal Investigator |
橘 克典 大阪電気通信大学, 医療健康科学部, 准教授 (40516689)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
登尾 啓史 大阪電気通信大学, 総合情報学部, 教授 (10198616)
大西 克彦 大阪電気通信大学, 総合情報学部, 教授 (20359855)
新川 拓也 大阪電気通信大学, 医療健康科学部, 教授 (50340641)
小出 卓哉 大阪電気通信大学, 医療健康科学部, 講師 (00882557)
|
|---|
| Project Period (FY) |
2024-04-01 – 2027-03-31
|
| Keywords | 実技実習 / 質を落とさない臨床支援技術教育手法 / 感覚フィードバックデバイス / VR空間 / 穿刺手技 / 人工心肺装置操作手技 / アイトラッキング機能 / 音声認識機能 |
|---|
| Outline of Annual Research Achievements |
看護・医療の実技実習にDXを導入した質を落とさない臨床支援技術教育手法を構築するために、感覚フィードバックデバイス（3D Systmes社製 3次元触覚/力覚インターフェースデバイス Touch HID）と連動したVR穿刺手技システムを構築した。具体的には、VR開発用ワークステーションにてUnityを用いて血管の走行を再現した3D人体モデルを含むVR空間を作製し、アイトラッキング機能を搭載したHMD（Head Mounted Display）にて提供した。また、VR空間で穿刺手技プロトコルの臨場体感を連動して提供するため、触覚フィードバックデバイスに臨床使用している穿刺針を装着して血管壁の粘弾性や塑性を再現するデバイスのパラメータを設定した。さらに、触覚フィードバックデバイスを介してVR空間における穿刺針の角度と穿刺針先端の位置の計測データを抽出してリアルタイムに穿刺者の目線で大型モニタへ表示させるシステムを開発した。これにより、VR空間の穿刺手技プロトコル、および被験者の穿刺手技における情報を同時に多人数へ対して提供が可能となり、看護・医療の実技実習にDXを導入した教育ツールのベースが確立できた。
実技実習の内容は穿刺手技の他に人工心肺装置操作手技などがある。穿刺手技と比較して人工心肺装置の操作手技は繁雑である。先ず、この操作手技に対してHMDによるアイトラッキング機能と音声マイクによる音声認識機能を応用して被験者の生体情報の計測と収集データの自動分析を行うアルゴリズムを作成した。これにより、実技実習の自動定量評価法を確立し質を落とさない臨床実習支援技術のベースが確立できた。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
VR開発用ワークステーションでUnityを用いてVR空間に透析室を再現して、ベッドに横たわる3D人体患者モデルと穿刺に使用する針を実装した。被験者はHMDを装着して患者の右手の血管へ穿刺可能であり、針先が血管に届くと逆血を確認することが可能である。また、血管へ針先を進めていく過程の血管に対する長径と短径に対する角度をリアルタイムにモニタすることが可能である。さらに、患者の腕をスケルトンにして針先がどの位置にあるのかを表示することも可能である。
VR空間で連動して穿刺手技プロトコルの臨場体感を提供するため、触覚フィードバックデバイスに臨床使用している穿刺針を装着して血管壁の粘弾性や塑性を再現するデバイスのパラメータの設定をおこなった。また、被験者がHMDで体感しているVR空間をリアルタイムに大型モニタへ映して多人数で被験者の穿刺手技を確認できる。
穿刺手技と比較して人工心肺装置の操作手技は繁雑であることより、繁雑な実技実習内容でもHMDによるアイトラッキング機能と音声マイクによる音声認識機能を応用した自動定量評価法の確立が可能かを試すためにVR空間内に手術室と人工心肺装置を作製した。人工心肺装置の操作手技シナリオのプロトコルに従って被験者が正しくモニタを注視しているかをアイトラッキング機能を用いて当たり判定を自動的に評価して得点加算が行える。また、操作手技シナリオのプロトコルに従って音声での外科医師の問いかけに対して、被検者が正しく音声で返答しているかを音声認識機能を用いて自動的に評価して得点加算が行える。さらに、このシナリオにはチュートリアルモードとテストモードを切り替えて実習が可能である。
|
| Strategy for Future Research Activity |
VR穿刺手技システムでは、被験者がHMDを装着して感覚フィードバックデバイスを操作してVR空間に再現された透析室のベッド上に仰臥位で寝ている患者の右腕に穿刺をするが、それを実施する位置に被験者が移動して正しい視線（姿勢）にセットすることが難しいことから、臨床における穿刺者の景色と比較して違和感を感じる。これは、穿刺手技に大きく影響してくることから
正しい視線（姿勢）に合わされた場面からスタートする設定に変更して被験者の視線が臨床におけるそれと近似するように調整する必要がある。また、デバイスによる触覚のフィードバックは臨床のそれと比較して少し精度が劣ることから再度の調整が必要である。
人工心肺装置の操作手技で確立したHMDによるアイトラッキング機能と音声マイクによる音声認識機能を応用した自動定量評価法をVR穿刺手技システムに統合し本システムでも自動定量評価が行えるようにプログラムの改良を進めてゆく予定である。具体的には透析における穿刺手技の前後の臨床手技をVR空間で実施できるようにして一連の臨床シナリオに沿った穿刺業務の習得を目指す。
VR空間で穿刺手技や人工心肺装置操作手技のシナリオにおける自動定量評価が可能となれば、臨床工学技士養成校における臨床実習の前後教育において、開発したVR教育システムが有効か実証実験を行っていく。また、病院の新人臨床工学技士に対して本システムの活用が可能かを実証実験を行っていく予定である。
|
| Causes of Carryover |
当該年度の人件費・謝金（専門知識の提供）において、その必要がなかった為、次年度使用額が生じた。次年度において、更に専門的知識が必要となることが予想されることより、これに使用する計画である。
|
