2020 Fiscal Year Annual Research Report
Robust and precise 3D endoscope system based on pattern projection and deep learning
| Project/Area Number |
18H04119
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
古川 亮 広島市立大学, 情報科学研究科, 准教授 (50295838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 信治 広島大学, 病院(医), 教授 (00260670)
馬場 雅志 広島市立大学, 情報科学研究科, 講師 (30281281)
佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
岡 志郎 広島大学, 病院(医), 講師 (30403538)
宮崎 大輔 広島市立大学, 情報科学研究科, 准教授 (30532957)
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 3次元内視鏡 / パターン投光 / アクティブステレオ / 形状統合 / 形状位置合わせ |
|---|
| Outline of Annual Research Achievements |
２０２０年度には、「（３）形状解像度，距離精度の向上」「（４）（深層学習による）複雑な対象形状への対応」を進めるための方策として，２０１９年度から継続して，格子パターンの抽出結果から格子グラフを作成し，グラフに対して作用するグラフ畳み込みネットワークを適用することでグラフのノードごとに格子点のIDを推定するアルゴリズムを開発した．
さらに，そのようなグラフ畳み込みネットワークの学習を行うために，CGで学習用データを生成し，CGデータから学習用データを生成する手法を開発した．このような手法では，CGによって学習用画像を生成すると共に，例えばノードごとに対応IDを色で表現した画像をレンダリングすることによって，各ノードについての正解ID値をCG画像からサンプリングすることができる．また，大腸など，非常に複雑な対象形状への対応の準備として，大腸に似せた形状モデルに対して，パターン投影画像のCG描画を行う実験を実施した．研究成果の一部は，国際学会EMBCで発表された．
また，投影パターンから，深層学習によって画像特徴（パターンの格子構造，コード情報など）を取得する際，大量の学習データを作成する必要があるが，このようなデータもCGで作成することは解決策の一つである．今年度は，CGで作成されたパターンで深層学習モデルの事前学習を行い，実際の少量のデータで実データに適合させる方法を開発した．その成果は，情報処理学会研究報告で報告された．
また，３次元内視鏡に関する研究の一部を，２０２０年度に出版した大学院向けの教科書に掲載した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究の課題としては，「（１）消化管内部の環境への対応」「（２）対象の色情報と距離情報の同時取得」「（３）形状解像度，距離精度の向上」「（４）（深層学習による）複雑な対象形状への対応」「（５）実際の人体内部の計測の実現」が実施予定であり，２０２０年度には，これらのうち（３）（４）で成果が得られた．
ただし，（１）（２）について，問題が生じた．白色光とパターン光を切り替え可能なパターン光源において，超小型パターン投光器の先端部分の強度が十分でない場合があることがわかった．このため，白色光とパターン光の切り替え以外の方法で，（２）の情報を得られる方法を模索中である．
また，「（５）実際の人体内部の計測の実現」について，システムの計測制度は向上しているものの，動物実験を正当化するだけの計測の安定性が得られていないことから，動物実験が行えない状況にある．（５）を実現するためには，システム全体の安定性を向上させ，動物実験を行う必要がある．
これらのことから，進捗については遅れていると判断する．
|
| Strategy for Future Research Activity |
２０２１年度には、形状計測の安定性をさらに向上させるために，事前の校正情報なしで得られたパターン投影画像から、自己校正を利用してフレーム毎に形状情報を取得する方法の開発と，複数フレームの形状計測情報を矛盾なく統合するための最適化を行う方法の開発を行う．また，これらの手法をパッケージ化し，動物実験などに利用可能な，安定したシステムにすることを目指す．また，医療従事者が実際に利用可能なシステムを実現するために，AR,VRによって，計測された３次元情報を提示するシステムを開発する．
|
