Development of endoscopic treatment assistance system based on relationship modeling between recognition and action
| Project/Area Number |
21K12723
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90130:Medical systems-related
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
小田 昌宏 名古屋大学, 情報連携推進本部, 准教授 (30554810)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古川 和宏 名古屋大学, 医学部附属病院, 病院講師 (70624310)
|
|---|
| Project Period (FY) |
2021-04-01 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2022: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2021: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 認知と行動の関係解析 / 内視鏡操作支援システム / 内視鏡操作支援ロボット |
|---|
| Outline of Research at the Start |
医師の内視鏡操作をコンピュータで支援し自動化することで、個人の経験に依存しない治療が可能となる。医師が内視鏡操作を行う上で、視覚等による状況把握と判断を連続的に行い、それに基づいて操作を実行する。つまり状況の「認知」と「行動」が密接に連携して行われる。そのため医師の認知と行動の連携をデータドリブンで解析し、行動選択の仕組みを解明することが有効である。本研究では、(1) 医師の認知と行動を計測する枠組みの実現、(2) 認知と行動の連携のモデル化、(3) モデルを用いた認知と行動支援情報の提示及び (4) ロボットによる行動介入を通した内視鏡操作支援システムの開発を行う。
|
| Outline of Annual Research Achievements |
本研究では認知と行動の関連解明に基づく内視鏡操作支援システムの実現を目指す。内視鏡を用いた診断・治療では経験不足の医師による合併症発生や病変見落としが発生する。医師の内視鏡操作をコンピュータで支援し自動化することで、個人の経験に依存しない治療が可能となる。医師が内視鏡操作を行う上で、視覚等による状況把握と判断を連続的に行い、それに基づいて操作を実行する。つまり状況の「認知」と「行動」が密接に連携して行われる。このような「認知」と「行動」の連携をデータドリブンで解析し、行動選択の仕組みを解明することを目指す。この目標を達成するため、医師の認知と行動の関係を計測し、深層学習等でのデータドリブンな推定モデル化を通して、認知と行動の連携による推定をコンピュータ上に実現する（認知・行動連携モデル）。モデルを組み込んだ内視鏡操作支援システムを開発し、内視鏡画像等への認知支援情報提示、ロボットによる行動介入を通した支援を実現する。
上記の研究を達成するために、(1) 医師の認知と行動を計測する枠組みの実現、(2) 認知と行動の連携をコンピュータ上でモデル化し、(3) モデルを用いた認知と行動支援情報の提示及び (4) ロボットによる行動介入を通した支援を行う内視鏡操作支援システムの開発を行う。
本年度は、認知と行動の連携モデル開発と内視鏡操作支援システムの検討を行った。前年度データ収集した大腸内視鏡操作時の内視鏡位置情報データを使用し、深層学習モデルを使用して医師への支援情報生成に必要となる内視鏡や大腸の状態を推定する方法を実現した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
認知と行動の関連解明に基づく内視鏡操作支援システムの実現を目指し、(1) 認知と行動の連携モデル開発と(2)内視鏡操作支援システムの検討を行った。
(1) 認知と行動の連携モデル開発：前年度データ収集を行った、内視鏡操作データと大腸の経時的形状データを活用してモデル開発を行った。内視鏡操作と形状という異種のデータを統合利用するため、最新の深層学習モデルであるTransformerと類似したMLP-Mixerに基づくデータ推定モデルを開発した。この推定モデルにより、内視鏡操作などの情報から医師への支援情報生成に必要となる内視鏡や大腸の状態推定を実現した。開発した手法は従来手法と比較して高い精度での推定が可能であり、その研究成果をコンピュータ医療支援のトップカンファレンスであるMICCAIのワークショップで発表した。この発表はワークショップでOutstanding Paper Awardを受賞した。
(2) 内視鏡操作支援システムの検討：データ計測結果やモデル推定結果を用いて駆動する支援システムの検討を行った。システムの入出力データの種類、処理時間、医師への結果のフィードバックや可視化方法について検討し、医師にとって直感的に理解しやすい形での提示法を採用することとした。
|
| Strategy for Future Research Activity |
2023年度は、(1) 認知・行動計測装置の改善、(2) 認知情報抽出手法の開発、(3) 内視鏡操作支援システムの開発を行う。最終的には内視鏡操作支援システムの開発を目指す。
(1) 認知・行動計測装置の改善：既に開発した装置は医師の「行動」に関係する内視鏡と大腸の形状を計測可能であるが、「認知」に関する情報としての内視鏡映像を取得する機能が不十分である。すべての情報が時間的に同期された状態で計測可能とすることを目指し、計測装置の改善を行う。
(2) 認知情報抽出手法の開発：内視鏡映像等の認知データから内視鏡状態把握や病変発見に必要な情報を抽出する方法を開発する。映像を対象とした解剖構造セグメンテーション、物体検出、カメラ移動推定等の画像解析手法を利用し、医師の認知情報を定量的に計測可能とすることを目指す。
(3) 内視鏡操作支援システムの開発：データ計測結果と推定モデルによる行動などの推定結果を医師に提示するシステム開発を行う。ナビゲーション情報や病変位置の提示等の認知支援情報を提示することを目指す。
|
Report
(2 results)
Research Products
(3 results)
