2020 Fiscal Year Annual Research Report
Augmented reality-assisted surgery integrating artificial intelligence and computer vision
| Project/Area Number |
20F20106
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
末永 英之 東京大学, 医学部附属病院, 講師 (10396731)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
MA QINGCHUAN 東京大学, 医学部附属病院, 外国人特別研究員
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | コンピュータ外科学 |
|---|
| Outline of Annual Research Achievements |
外科手術には三次元的な空間認識能力が求められ、医療の完成度は術者の技量に大きく依存することから、医用画像データから構築する術前のコンピュータシミュレーションを用いた高精度な手術支援技術は必要である。人工知能（AI)は、大量のサンプルを用いて学習し、医用画像パターンの識別・分類・定量やロボットアームの制御に有用である。本研究では、これまでの成果である生体内部の解剖学的な立体情報を含む手術環境全体の位置情報を可視化する拡張現実ディスプレイとコンピュータビジョンによる高精度な位置情報制御システムにAIを搭載する。
【統合開発環境でのプログラミング】
従来のディープラーニングアプローチは、画像ボリューム全体を入力データとして扱うか、ランドマークを個別にのみ検出できるため、計算コストが非常に高くなるか、複数のランドマーク間の空間関係を無視する。したがって、本研究では高速でマルチランドマークのローカライズ機能を備えた自動手術計画モデルをカスタム開発した。術前および術後の両方のランドマークモデルのトレーニングで共有される。次に、術前CTと術後CTの両方からのランドマークデータに基づいて、手術計画モデルをさらにトレーニングする。ランドマークモデルと手術計画モデルの両方を取得した後、術後ランドマークの位置が自動的に予測され、術前CT等の3D画像を用いてAIによる自動手術計画を実施する。実用化に向けてプログラムの性能（手術計画や術後予測の精度等）を確認して、改良した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画調書の研究計画と進行状況がほぼ同一である。
|
| Strategy for Future Research Activity |
【パッチベースの機械学習モデルのパラメーターチューニング】
機械学習モデルの内部パラメーターに関する先験的な概念がないため、作業のこの部分では、さまざまなモデルアーキテクチャと内部パラメーターをテストして、適切なものを見つける必要がある。過去の膨大な手術前後のCTや3Dスキャナ等の3Dデータは、自動手術計画モデルを開発する環境を提供できる。
【手術用ロボットとの統合】
訓練された自動手術計画モデルはこれまでの成果である口腔外科手術用ロボットと統合され、完全に自律的な手術支援システムを構築する。術前CT画像を用いて、AIによる自動手術計画モデルに入力して、ロボットの動作誘導のための手術計画が得られる。実験は三次元プリンタにより作製する顎骨モデルで実施して、精度評価および安全性評価、リスク管理など実用化に向けた問題点を検証する。
|
Research Products
(4 results)
