2019 Fiscal Year Annual Research Report
Robust and precise 3D endoscope system based on pattern projection and deep learning
| Project/Area Number |
18H04119
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
古川 亮 広島市立大学, 情報科学研究科, 准教授 (50295838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
田中 信治 広島大学, 病院(医), 教授 (00260670)
馬場 雅志 広島市立大学, 情報科学研究科, 講師 (30281281)
佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
岡 志郎 広島大学, 病院(医), 講師 (30403538)
宮崎 大輔 広島市立大学, 情報科学研究科, 准教授 (30532957)
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 3次元内視鏡 / パターン投光 / アクティブステレオ / 形状統合 / 形状位置合わせ |
|---|
| Outline of Annual Research Achievements |
２０１９年度には，「(2)対象の色情報と距離情報の同時取得」「(3)形状解像度、距離精度の向上」「(4)深層学習を利用した奥行推定アルゴリズム開発」の研究を推進する予定であった（課題の番号は計画調書に基づく）。
(2)の課題については、(2)パターン照明と通常白色照明を交互に点灯して撮影を行うことで、投影パターンが写った画像と組織のテクスチャ画像が写った画像をそれぞれ撮影する手法の2種類の手法を実施するために、形状計測のためのパターン照明と，テクスチャ取得のための白色照明を、外部から切り替え可能であり、かつ内視鏡に挿入可能な小型パターンプロジェクタを開発し、実際に動作することを確認した。このデバイスについては、今後公表予定である。
(3)の課題については、複数のフレームにわたって形状計測を行い、それらの形状が整合するようにつなぎ合わせることで、計測精度を高める手法を昨年度開発し、豚の胃袋の内部の広い範囲の形状を復元することに成功した。この成果について、論文発表を行った。また、同手法について、収束性能などの問題点も明らかになったため、その改善手法についても開発中である。
(4)の課題について、深層学習アルゴリズムの一つであるGraph Convolutional Network(GCN)を利用した形状推定アルゴリズムの開発を行った。これは、能動ステレオ法の対応点の推定をおこなう学習モデルであり、これにより対応点推定精度が大きく向上した。その成果は論文として発表された。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の課題としては「(1)消化管内部の環境への対応」「(2)対象の色情報と距離情報の同時取得」「(3)形状解像度、距離精度の向上」「(4)(深層学習による)複雑な対象形状への対応」「(5)実際の人体内部の計測の実現」が実施予定であり、２０１９年度には、これらのうち(2)(3)(4)で成果が得られた。
特に、(2)に関する成果である、パターンと白色光を切り替え可能な投光器が完成し、実際に動作することを確認したことと，(4)に関する成果である、Graph Convolutional Network(GCN)による対応推定の枠組みが出来つつあることは重要である。
前者は、パターン投光とテクスチャ取得を同時に行うための重要なデバイスであるが、超小型のパターン投光器から放出される光を、パターン光、通常白色光の２種類で切り替えることは、開発が難しかった。これが動作したことは大きな成果であるといえる。
また，後者は、検出パターンをグラフとして表現し、GCNで対応を推定するものであるが、今後、投光パターンが途切れがちな複雑な形状の対象であっても、グラフの接続等を工夫することで、複雑形状に対応していくことが見込まれ、課題(4)を実現していくうえで鍵になると考える成果である。
全体としては、重要な課題について成果が得られていることから、自己評価区分としては「おおむね順調に進展している」を選択した。
|
| Strategy for Future Research Activity |
２０２０年度には、「(3)形状解像度、距離精度の向上」「(4)非常に複雑な対象形状への対応」の課題を進めていく必要がある。このために，Graph Convolutional Network(GCN)による対応推定の枠組みについて、研究を進めていく予定である。具体的には、対応点推定モデルであるGCNの学習を行うために必要となる、大量データの生成手法の開発を行う。これには、コンピュータグラフィックスによる画像生成を利用する予定である。そのために、具体的にどのような画像を生成すれば、上記手法で有効な学習データを生成可能であるか、考察する必要がある。
また、２０１９年度には、大腸を対象とすることを考慮して、ひだのある形状を計測可能にするための学習データを収集する予定であったが、こちらについては、２０２０年度以降に、コンピュータグラフィックスを利用して学習データを収集する方向で解決することを予定している。そのためにも、学習データの生成アルゴリズムの開発は重要である。
そのために、コンピュータグラフィックスについて経験のある博士研究員を２０２０年度から雇用し、研究を進める。
さらに，２０２０年度には、複数形状の統合アルゴリズムについて、より精密に形状統合を行うためのアルゴリズムの開発を行う。このために、複数形状の統合において、最適化のためのコスト関数を「微分可能なコスト」として記述することで、位置合わせの精度を向上させる研究を実施する予定である。
|
