• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Augmented reality-assisted surgery integrating artificial intelligence and computer vision

Research Project

Project/Area Number 20F20106
Research Category

Grant-in-Aid for JSPS Fellows

Allocation TypeSingle-year Grants
Section外国
Review Section Basic Section 57060:Surgical dentistry-related
Research InstitutionThe University of Tokyo

Principal Investigator

末永 英之  東京大学, 医学部附属病院, 講師 (10396731)

Co-Investigator(Kenkyū-buntansha) MA QINGCHUAN  東京大学, 医学部附属病院, 外国人特別研究員
Project Period (FY) 2020-04-24 – 2022-03-31
Project Status Completed (Fiscal Year 2021)
Budget Amount *help
¥1,200,000 (Direct Cost: ¥1,200,000)
Fiscal Year 2021: ¥200,000 (Direct Cost: ¥200,000)
Fiscal Year 2020: ¥1,000,000 (Direct Cost: ¥1,000,000)
Keywordsコンピュータ外科学
Outline of Research at the Start

外科手術には三次元的な空間認識能力が求められ、医療の完成度は術者の技量に大きく依存することから、医用画像データから構築する術前のコンピュータシミュレーションを用いた高精度な手術支援技術は必要である。人工知能(AI)は、大量のサンプルを用いて学習し、医用画像パターンの識別・分類・定量やロボットアームの制御に有用である。本研究では、これまでの成果である生体内部の解剖学的な立体情報を含む手術環境全体の位置情報を可視化する拡張現実ディスプレイとコンピュータビジョンによる高精度な位置情報制御システムにAIを搭載する。

Outline of Annual Research Achievements

外科手術には三次元(3D)の空間認識能力が求められ、医療の完成度は術者の技量に大きく依存することから、医用画像データから構築する術前のコンピュータシミュレーションを用いた高精度な手術支援技術は必要である。人工知能(AI)は、大量のサンプルを用いて学習し、医用画像パターンの識別・分類・定量やロボットアームの制御に有用である。本研究では、これまでの成果である生体内部の解剖学的な立体情報を含む手術環境全体の位置情報を可視化する拡張現実ディスプレイとコンピュータビジョンによる高精度な位置情報制御システムにAIを搭載した。従来のディープラーニングアプローチは、画像ボリューム全体を入力データとして扱うか、ランドマークを個別にのみ検出できるため、計算コストが非常に高くなるか、複数のランドマーク間の空間関係を無視する。したがって、本研究では高速でマルチランドマークのローカライズ機能を備えた自動手術計画モデルをカスタム開発した。術前および術後のコンピュータ断層撮影(CT)の両方からのランドマークデータに基づいて、手術計画モデルをさらにトレーニングする。ランドマークモデルと手術計画モデルの両方を取得した後、術後ランドマークの位置が自動的に予測され、術前CT等の3D画像を用いてAIによる自動手術計画を実施した。実用化に向けてプログラムの性能(手術計画や術後予測の精度等)を確認して改良した。自動手術計画モデルを口腔外科手術用ロボットと統合した。

Research Progress Status

令和3年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和3年度が最終年度であるため、記入しない。

Report

(2 results)
  • 2021 Annual Research Report
  • 2020 Annual Research Report
  • Research Products

    (8 results)

All 2022 2021 2020

All Journal Article (3 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (2 results) (of which Invited: 2 results) Patent(Industrial Property Rights) (3 results) (of which Overseas: 1 results)

  • [Journal Article] Machine-learning-based approach for predicting postoperative skeletal changes for orthognathic surgical planning.2022

    • Author(s)
      Ma Q, Kobayashi E, Fan B, Hara K, Nakagawa K, Masamune K, Sakuma I, Suenaga H.
    • Journal Title

      Int J Med Robot

      Volume: e Issue: 3 Pages: 2379-2379

    • DOI

      10.1002/rcs.2379

    • Related Report
      2021 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Automatic 3D landmarking model using patch‐based deep neural networks for CT image of oral and maxillofacial surgery2020

    • Author(s)
      Ma Q, Kobayashi E, Fan B, Nakagawa K, Sakuma I, Masamune K, Suenaga H
    • Journal Title

      Int J Med Robot

      Volume: 16(3) Issue: 3

    • DOI

      10.1002/rcs.2093

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Journal Article] Autonomous surgical robot with camera-based markerless navigation for oral and maxillofacial surgery2020

    • Author(s)
      Ma Qingchuan、Kobayashi Etsuko、Suenaga Hideyuki、Hara Kazuaki、Wang Junchen、Nakagawa Keiichi、Sakuma Ichiro、Masamune Ken
    • Journal Title

      IEEE/ASME Transactions on Mechatronics

      Volume: - Issue: 2 Pages: 1-1

    • DOI

      10.1109/tmech.2020.2971618

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Presentation] 人工知能、コンピュータビジョン、拡張現実を用いた手術支援2021

    • Author(s)
      末永英之
    • Organizer
      第45回日本頭頸部癌学会総会・学術講演会
    • Related Report
      2021 Annual Research Report
    • Invited
  • [Presentation] 人工知能とコンピュータビジョンを統合した拡張現実手術支援システムの開発2020

    • Author(s)
      末永英之
    • Organizer
      第65回日本口腔外科学会総会・学術大会
    • Related Report
      2020 Annual Research Report
    • Invited
  • [Patent(Industrial Property Rights)] 医用情報処理システム、プログラム及び情報処理方法2022

    • Inventor(s)
      末永英之、馬青川、小林英津子、正宗賢
    • Industrial Property Rights Holder
      国立大学法人東京大学、学校法人東京女子医科大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2022-009759
    • Filing Date
      2022
    • Related Report
      2021 Annual Research Report
  • [Patent(Industrial Property Rights)] 自動手術計画システムおよび手術計画方法並びにプログラム2021

    • Inventor(s)
      馬青川、末永英之、小林英津子、正宗賢
    • Industrial Property Rights Holder
      国立大学法人東京大学、学校法人東京女子医科大学
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2021-556188
    • Filing Date
      2021
    • Related Report
      2021 Annual Research Report
  • [Patent(Industrial Property Rights)] 自動手術計画システムおよび手術計画方法並びにプログラム2020

    • Inventor(s)
      馬青川、末永英之、小林英津子、正宗賢
    • Industrial Property Rights Holder
      国立大学法人 東京大学、学校法人 東京女子医科大学
    • Industrial Property Rights Type
      特許
    • Filing Date
      2020
    • Related Report
      2020 Annual Research Report
    • Overseas

URL: 

Published: 2020-07-07   Modified: 2024-03-26  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi