人工知能搭載手術用ビデオ顕微鏡を用いた拡張現実歯内療法支援システムの開発

Research Project

Project/Area Number	21K09869
Research Category	Grant-in-Aid for Scientific Research (C)
Allocation Type	Multi-year Fund
Section	一般
Review Section	Basic Section 57030:Conservative dentistry-related
Research Institution	The University of Tokyo
Principal Investigator	榊原安侑子東京大学, 医学部附属病院, 特任臨床医 (90897282)
Co-Investigator(Kenkyū-buntansha)	末永英之東京大学, 医学部附属病院, 講師 (10396731)
Project Period (FY)	2021-04-01 – 2024-03-31
Project Status	Granted (Fiscal Year 2022)
Budget Amount *help	¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000) Fiscal Year 2023: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000) Fiscal Year 2022: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000) Fiscal Year 2021: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Keywords	コンピュータ外科学
Outline of Research at the Start	歯内療法は根管形態の複雑な三次元（3D）の空間認識が重要である。これまでに、手術用ビデオ顕微鏡システムを用い、コンピュータビジョンにより歯を画像認識してマーカーを用いずに画像情報により、CT（コンピュータ断層撮影）画像と患者位置の空間的対応関係を求める処理（レジストレーション）を行う拡張現実（AR）技術の開発を行ってきた。本研究では、人工知能（AI）が自動で取得したデータから認識・理解し、根管などの3D画像を構築してCT画像（コンピュータ空間）と患者位置（現実空間）のレジストレーションを行う、AI搭載手術用ビデオ顕微鏡を用いたAR歯内療法支援システムを開発する。
Outline of Annual Research Achievements	歯内療法は根管形態の複雑な三次元（3D）の空間認識が重要である。これまでに、手術用ビデオ顕微鏡システムを用い、コンピュータビジョンにより歯を画像認識してマーカーを用いずに画像情報により、CT（コンピュータ断層撮影）画像と患者位置の空間的対応関係を求める処理（レジストレーション）を行う拡張現実（AR）技術の開発を行ってきた。術者は見ることの出来ない部位を可視化し、立体的な位置関係を把握できる。根管治療などの際、血管、神経、顎骨、歯根、根管（複数根・湾曲方向・イスムス・フィンなど）をディスプレイに拡張現実表示する。現状では、歯科用CTなどから3D画像処理ソフトウェアを用いて、歯科医が自分で手術用ビデオ顕微鏡システムにAR表示する3D画像を構築する必要がある。本研究では、人工知能（AI）が自動で取得したデータから認識・理解し、根管などの3D画像を構築してCT画像（コンピュータ空間）と患者位置（現実空間）のレジストレーションを行う、AI搭載手術用ビデオ顕微鏡を用いたAR歯内療法支援システムを開発する。術前CTや口腔内スキャナの3D画像を用いて、歯や骨に関する形状情報を深層学習により自動でモデリングできる。そのため、本研究では深層学習を利用して全自動の3D画像構築、レジストレーション、治療計画の自動化と画像認識プログラムに基づいたロボット制御技術の開発を行う。これによって、術者の経験や勘ではなく、自動で根管などの3D画像が歯にAR表示されるデータに基づいた根管治療ができる。将来的には、ロボット手術に応用される。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 研究計画調書の研究計画と進行状況がほぼ同一である。
Strategy for Future Research Activity	根管は三次元的な広がりを持って歯の内部に広がっている。歯髄・根尖性歯周組織疾患は、直接目で見えない部位に発症するため、直接見ることのできない部位を直接視覚的に認識することは、適切な歯内治療を行うために重要である。歯科用コーンビームCTに加え、歯科用顕微鏡も歯内療法では欠かせない診断装置となっている。一方、近年目覚ましい勢いで、コンピュータビジョン、AR、AIなどの応用が進んでいる。このような技術革新は、歯内療法にも大きな影響を与え、治療の概念が全く変わる可能性がある。応募者らが開発した「手術ナビゲーションシステムおよび手術ナビゲーション方法並びにプログラム：特許第6566420号、Surgical navigation system, surgical navigation method, and program：US Patent US 10,492,872 B2」では、マーカーを用いずに術野カメラから得られた画像情報を処理して患者の位置情報を正確に把握する。歯は体外に露出する唯一の硬組織であり、歯をマーカーの代用にして自動かつ高精度のリアルタイムなCT画像-患者位置合わせを実現する。AIにおける従来の深層学習アプローチは、画像ボリューム全体を入力データとして扱うか、ランドマークを個別にのみ検出できるため、計算コストが非常に高くなるか、複数のランドマーク間の空間関係を無視するため、本課題では、座標データを低次元の空間に転送するようにプログラムし、パッチ（対象画像を部分的に切り出したもの）ベースの畳み込みニューラルネットワークを使用して、反復計算で同時に予測して、自動で認識・理解して自動実行する3D画像構築、レジストレーション治療計画、ロボット制御モデルをカスタム開発する。