2023 Fiscal Year Annual Research Report
臨床能力を育む医療教育システムの実現に向けた患者仮想化技術の創出
| Project/Area Number |
22H03632
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Kyoto University |
|---|
Principal Investigator |
山本 豪志朗 京都大学, 医学研究科, 准教授 (70571446)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
池田 聖 大阪大学, 大学院基礎工学研究科, 准教授 (40432596)
酒田 信親 龍谷大学, 先端理工学部, 准教授 (40452411)
山本 憲 京都大学, 医学研究科, 講師 (60525567)
高嶋 和毅 東北大学, 電気通信研究所, 准教授 (60533461)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | ヒューマンコンピュータインタラクション / 複合現実感 / 拡張現実感 / 医学教育 |
|---|
| Outline of Annual Research Achievements |
研究代表者の山本グループでは，主に，超音波検査装置を用いて疑似病変を生成する技術の構築に着手してきた．具体的には，エコーで捉え得る病変の調査を実施し，その中から対象となる病変を選択した上で，拡張現実感を応用することであたかも病変が映り込んでいるかのように画像を加工してみせる手法を考案・実装した．昨年度購入した専用の計算機を活用し，病変埋め込み技術の初期段階までを構築できたため，医師を中心とした実験参加者による観察実験を行ったところ，本物と見間違う水準まで表現を高められていることを確認した．その結果は，中間報告として国内シンポジウムで発表し，現在国際論文誌に向けて成果を整理し終え，投稿準備中である．また，並行して行ってきた手術室内の分析においては，医療情報学分野の国際会議にて発表し，受賞するに至った．これらの活動は，分担者の山本から助言を得ることで進めている．池田グループは，既存データベースから仮想患者データへの変換を試み，仮想患者の自然な目線を生成する技術の改良に取り組んだ．前年度は，入力データを再現するシンプルな autoencoder を用いて人間らしい視線を生成するための高度なニューラルネットワークの設計指針を得ただけであったが，本年度は，敵対的生成ネットワークをベースに，1枚の入力画像に応じた視線を生成することに成功した．酒田グループでは，既存データベースから仮想患者データへの変換の試みとして，Web 上に存在する画像データをクローリングにより取得し，生成系画像 AI を用いて画像データベースを要約する手法について検討を行った．実際に1枚の要約画像として静止画出力が可能になった．高嶋グループでは，麻酔科医とともに麻酔科臨床教育実習システムをゲーム化し，その効果をゲーム未使用群と比較し，検証した．その成果を原稿にまとめて CHI2024 Late-breaking Work に投稿済みである．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
前年度の引き続き，研究代表者，分担者各々において，大幅な遅れは特になく，国際会議や論文誌投稿など具体的な進捗を有している．全体での打ち合わせも実施し，相互の意思疎通も行った上で，各自適度に研究を進めている．その中で他への展開など，幅を持った取り組みもできている．二年目ではあることを考えると，妥当な進捗であり，もう少し背伸びができたのではないかという反省の念を込め，本判断に至った．
|
| Strategy for Future Research Activity |
研究代表者の山本グループでは，患者仮想化に向けた課題に対してその解決方法の議論を熟成させていくことで，これまで構築してきた技術を高度化していく．医師である分担者の山本との連携を強め，技術寄りになりすぎたシステム設計になっていないかなど配慮しつつ，本技術を使用していくシナリオについても整理をしていきたいと考えている．また，前年度から継続して，超音波検査装置で得られるエコー画像への擬似病変埋め込みについて，その技術を洗練させ，医師も判別しにくい質の高い表現を目指す．高質な表現が可能になってきたため，本格的に実時間動作を目指した高速化処理にも着手し，実際のエコー検査の動作に応じて擬似病変が的確に表現できるような仕組みを構築する．体験可能な試用システムを通して，医師からのフィードバックを得ていく予定である．池田グループは，動画像の入力や注目タスクの追加が可能な視線生成法について検討する予定である．酒田グループは，令和5年度で可能になった生成系画像AIを用いた要約画像の出力手法を時間軸に対して拡張し，静止画だけでなく仮想患者の要約動画の出力手法の検討を行う予定である．CHI2024 でポスター発表し，そのフィードバックをもとに，ゲームシナリオの再開発と再実験を予定している．共同研究者の麻酔科医が代表をつとめる会社で販売も計画している．
|
