2021 Fiscal Year Annual Research Report
Robust and precise 3D endoscope system based on pattern projection and deep learning
| Project/Area Number |
18H04119
|
|---|
| Research Institution | Kindai University |
|---|
Principal Investigator |
古川 亮 近畿大学, 工学部, 教授 (50295838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 大輔 広島市立大学, 情報科学研究科, 准教授 (30532957)
馬場 雅志 広島市立大学, 情報科学研究科, 講師 (30281281)
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
田中 信治 広島大学, 病院(医), 教授 (00260670)
岡 志郎 広島大学, 病院(医), 講師 (30403538)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Keywords | 3次元内視鏡 / パターン投光 / アクティブステレオ / 形状統合 / 形状位置合わせ |
|---|
| Outline of Annual Research Achievements |
２０２１年度には、「（３）形状解像度，距離精度の向上」「（４）（深層学習による）複雑な対象形状への対応」を進めるために，パターン投影画像の各画素について奥行きを求める方法を開発した．この手法では，格子状のパターンを投影した画像に対して深層学習モデルを適用することで，パターンの繰り返しの「位相」を，画素単位で求める．この位相の値は，格子の繰り返しと同期してのこぎり波状に繰り返すため，そのままでは絶対的な深さの値を決定できない．そこで，このような位相値から，絶対的な位相を求める処理を，２０２０年度までに研究してきたグラフ畳み込みネットワークで行う手法を開発した．
上記の高密度計測において，グラフ畳み込みネットワークに入力する格子グラフは，縦横方向への位相画像を，領域分割することで実現できることを示した．格子パターンを投影した画像から，縦方向，横方向の繰り返しについての位相情報を推定すると，縦方向，横方向の繰り返しについてののこぎり波パターンになる．このとき，位相の不連続を領域の境界として領域分割を行うことで格子グラフが得られる．これをグラフ畳み込みネットワークに入力することで，位相画像の各位相情報を，絶対位相に変換することができる．
また，このように高密度で復元された３次元形状情報を，内視鏡医がAR，VRゴーグルで観察可能なシステムを作成し，内視鏡医による評価を行った．これにより，通常の２次元情報や，形状情報を含む３次元情報を，内視鏡医からみて任意の位置に表示することで，患者の顔と画像情報との視線移動を最小化できるなどの理由で良好な評価が得られた．
このような研究成果の一部を，国内学会のMIRU2021，国際学会MICCAIのワークショップ，国際ジャーナルComputer Methods in Biomechanics and Biomedical Engineering，国際学会EMBCで発表した．
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
本研究の課題としては，「（１）消化管内部の環境への対応」「（２）対象の色情報と距離情報の同時取得」「（３）形状解像度，距離精度の向上」「（４）（深層学習による）複雑な対象形状への対応」「（５）実際の人体内部の計測の実現」が実施予定であり，２０２１年度には，これらのうち（３）（４）で成果が得られ，画素単位での高密度な奥行き情報が得られるシステムが開発された．
しかし，（１）（２）については，２０２０年度に引き続き，問題が生じている．当初計画では，白色光とパターン光の切り替えを行うことの可能なパターン光源装置を開発し，テクスチャ画像とパターン投影画像を同時取得する予定であったが，LEDによる白色光の強度が不足しており，代替策を引き続き模索中である．
また，「（５）実際の人体内部の計測の実現」について，２０２０年度に引き続き，動物実験を実施することができなかった．これは，近年，動物実験に関する倫理規定が厳しくなっていることや，実環境でパターン光を明瞭に投影可能な，高強度かつ安定したレーザ光源の調達が難しいためである．
これらのことから，進捗については遅れていると判断する．
|
| Strategy for Future Research Activity |
２０２２年度には、複数フレームの形状計測情報を矛盾なく統合するための最適化を行う方法の開発を行う．また，これらの手法をパッケージ化し，できるだけ高い効率で利用可能な，安定したシステムにすることを目指す．
|
