2020 Fiscal Year Research-status Report
深層学習に基づいた動画像認識と拡張現実による人工知能手術支援システムの開発
| Project/Area Number |
19K10258
|
|---|
| Research Institution | The University of Tokyo |
|---|
Principal Investigator |
末永 英之 東京大学, 医学部附属病院, 講師 (10396731)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | コンピュータ外科学 / 人工知能 / 拡張現実 |
|---|
| Outline of Annual Research Achievements |
外科手術には三次元（3D）的な空間認識が重要である。これまでに、術野カメラを用いたコンピュータビジョン（人間の視覚システムが行うことができるタスクを自動化する技術）により画像認識でマーカーを用いずにCT画像（コンピュータ空間）と患者位置（現実空間）の空間的対応関係を求める処理（レジストレーション）を行う拡張現実技術の開発「手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム：特許第6566420号」を行ってきた。現状では術前CT等の3D画像から3D画像処理ソフトウェアを用いて、外科医が自分で手術シミュレーションなどにより手術計画を立案する必要がある。外科医が全例に手術前に自分で数時間を要して手術シミュレーションを実施するのは困難であるが、本課題により人工知能（AI）による自動手術計画の立案や手術数年後の予測・シミュレーションが可能となる。術前に手術の設計がAIにより数秒で自動で行われ、注意するべき問題が分かっているため、手術時には何の迷いもなく手術を行え、外科医の負担は大幅に軽減する。過去の膨大な手術前後のCTや3Dスキャナ等の3Dデータは、自動手術計画モデルを開発する環境を提供でき、自動手術計画の使用は医師の労働時間の短縮と安心・安全な医療の提供につながる。
本年度は、これまでに手動で実施した三次元画像処理データを教師用データとして、深層学習による手術計画の自動化を行った。コンピュータビジョンを用いた位置制御によって可動部の最適軌道を計算し、画像認識プログラムと統合されたロボットの行動命令は自律制御型として、拡張現実によりロボットの動作を可視化。正常な動作が保証される入力条件、プログラムの計算フロー、アルゴリズム、出力する値の精度を規定する距離、角度などが臨床上許容される精度の評価を行っている。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
研究計画調書の研究計画と進行状況がほぼ同一である。
|
| Strategy for Future Research Activity |
深層学習による画像認識プログラムに基づいた手術計画の自動化と手術ロボット制御
開発した手術支援ロボットを使用して、コンピュータビジョンを用いた位置制御によって可動部の最適軌道を計算する。画像認識プログラムと統合されたロボットの行動命令は自律制御型として、拡張現実によりロボットの動作を可視化する。正常な動作が保証される入力条件、プログラムの計算フロー、アルゴリズム、出力する値の精度を規定する距離、角度などが臨床上許容される精度であることを評価する。
|
| Causes of Carryover |
研究の進行状況により、システム開発・改良に必要な部品を次年度に購入するため。全自動のセグメンテーションとレジストレーション技術開発・改良費として、カメラ、画像処理システムを構成する部品が必要である。画像認識プログラムに基づいた手術計画の自動化技術開発・改良費として、ディスプレイ、ワークステーションを構成する部品が必要である。人工知能搭載の手術支援ロボット制御システム開発・改良費として、トルクセンサー、触覚センサー、三軸方向の微調整用精密ステージによる位置決め機構、駆動制限機構を構成する部品が必要である。
|
