2021 Fiscal Year Research-status Report
Development of endoscopic treatment assistance system based on relationship modeling between recognition and action
| Project/Area Number |
21K12723
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
小田 昌宏 名古屋大学, 情報連携推進本部, 准教授 (30554810)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 和宏 名古屋大学, 医学部附属病院, 病院講師 (70624310)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Keywords | 認知と行動の関係解析 / 内視鏡操作支援システム / 内視鏡操作支援ロボット |
|---|
| Outline of Annual Research Achievements |
本研究では認知と行動の関連解明に基づく内視鏡操作支援システムの実現を目指す。内視鏡を用いた診断・治療では経験不足の医師による合併症発生や病変見落としが発生する。医師の内視鏡操作をコンピュータで支援し自動化することで、個人の経験に依存しない治療が可能となる。医師が内視鏡操作を行う上で、視覚等による状況把握と判断を連続的に行い、それに基づいて操作を実行する。つまり状況の「認知」と「行動」が密接に連携して行われる。このような「認知」と「行動」の連携をデータドリブンで解析し、行動選択の仕組みを解明することを目指す。この目標を達成するため、医師の認知と行動の関係を計測し、深層学習等でのデータドリブンな推定モデル化を通して、認知と行動の連携による推定をコンピュータ上に実現する（認知・行動連携モデル）。モデルを組み込んだ内視鏡操作支援システムを開発し、内視鏡画像等への認知支援情報提示、ロボットによる行動介入を通した支援を実現する。
上記の研究を達成するために、(1) 医師の認知と行動を計測する枠組みの実現、(2) 認知と行動の連携をコンピュータ上でモデル化し、(3) モデルを用いた認知と行動支援情報の提示及び (4) ロボットによる行動介入を通した支援を行う内視鏡操作支援システムの開発を行う。
本年度は認知・行動計測データの収集と、認知と行動の連携モデル化の初期検討を行った。認知・行動計測データの収集では、消化器内科医による大腸内視鏡操作時の内視鏡位置情報データを計測・蓄積した。認知と行動の連携モデル化の初期検討では、内視鏡位置情報データから内視鏡操作支援に必要な情報を生成するモデル開発を行った。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
認知と行動の関連解明に基づく内視鏡操作支援システムの実現を目指し、(1) 認知・行動計測データの収集と、(2) 認知と行動の連携モデル化の初期検討の２項目を実施した。
(1) 認知・行動計測データの収集：データドリブンな解析に必要となる医師の内視鏡操作データを計測し蓄積した。そのための医師の「行動」に関する情報計測機器の開発をまず行った。超小型磁気式位置センサを大腸内視鏡に取り付け、大腸内での内視鏡の６自由度の位置・姿勢をリアルタイムに計測可能な内視鏡状態計測機器を開発した。また、内視鏡挿入中の大腸の状態を計測するため、大腸模型を用いてその３次元形状をリアルタイム計測可能な装置を開発した。ここでは大腸表面の位置マーカと深度カメラによる計測を利用した。開発した装置を用いて、消化器内科医が大腸内視鏡操作を行う際の内視鏡および大腸の経時的形状データ計測を行った。複数の医師による操作を計測しデータを蓄積した。
(2) 認知と行動の連携モデル化の初期検討：計測した内視鏡の経時的形状データから内視鏡操作支援情報を自動生成するモデル開発を行った。このモデルは内視鏡操作支援情報として内視鏡挿入中の大腸の状態を推定する。モデルは多層ニューラルネットワークを用いて形状データの空間的特徴と時系列変化特徴の抽出を交互に行う形とした。実データを用いた評価では、従来のLSTMを用いた手法やRegression forestsを用いた手法と比較して開発したモデルは高い精度を得た。このように「行動」データ解析において良好な研究成果が得られている。この研究成果をコンピュータ医療支援のトップカンファレンスであるMICCAIに投稿した。
|
| Strategy for Future Research Activity |
2022年度は、(1) 認知・行動計測装置の改善、(2) 認知・行動計測データの収集、(3) 認知情報抽出手法の開発を行う。最終的には内視鏡操作支援システムの開発を目指す。
(1) 認知・行動計測装置の改善：既に開発した装置は医師の「行動」に関係する内視鏡と大腸の形状を計測可能であるが、「認知」に関する情報としての内視鏡映像を取得することができない。すべての情報が時間的に同期された状態で計測可能とすることを目指し、計測装置の改善を行う。
(2) 認知・行動計測データの収集：継続的にデータ収集を行いデータ数拡充を図る。また、計測装置を改善した後に追加のデータ収集を行う。
(3) 認知情報抽出手法の開発：内視鏡映像等の認知データから内視鏡状態把握や病変発見に必要な情報を抽出する方法を開発する。映像を対象とした解剖構造セグメンテーション、物体検出、カメラ移動推定等の画像解析手法を利用し、医師の認知情報を定量的に計測可能とすることを目指す。
|
| Causes of Carryover |
2021年度の研究では、認知・行動計測データとして主に内視鏡や大腸の形状データを扱った。形状データは画像データなどと比較して軽量であり、既存コンピュータとGPU1台のみで十分な解析が可能であったため、予定していた認知・行動計測データ処理ワークステーションを購入せず未使用額が生じた。
2022年度の研究では動画像を含む映像データを用いた解析手法の開発を行う予定である。また、認知・行動計測装置の改善においては新たな計測センサやデバイスの購入が必要となる。研究を円滑に遂行するため、次年度使用額を用いて、映像データ解析が可能な高性能ワークステーションとセンサ・デバイス類購入を予定している。
|
Research Products
(1 results)
