Robust and precise 3D endoscope system based on pattern projection and deep learning
| Project/Area Number |
18H04119
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 61:Human informatics and related fields
|
|---|
| Research Institution | Hiroshima City University |
|---|
Principal Investigator |
古川 亮 広島市立大学, 情報科学研究科, 准教授 (50295838)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
宮崎 大輔 広島市立大学, 情報科学研究科, 准教授 (30532957)
馬場 雅志 広島市立大学, 情報科学研究科, 講師 (30281281)
川崎 洋 九州大学, システム情報科学研究院, 教授 (80361393)
佐川 立昌 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (30362627)
田中 信治 広島大学, 病院(医), 教授 (00260670)
岡 志郎 広島大学, 病院(医), 講師 (30403538)
日浦 慎作 兵庫県立大学, 工学研究科, 教授 (40314405)
|
|---|
| Project Period (FY) |
2018-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2021)
|
| Budget Amount *help |
¥43,420,000 (Direct Cost: ¥33,400,000、Indirect Cost: ¥10,020,000)
Fiscal Year 2021: ¥11,050,000 (Direct Cost: ¥8,500,000、Indirect Cost: ¥2,550,000)
Fiscal Year 2020: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
Fiscal Year 2019: ¥11,830,000 (Direct Cost: ¥9,100,000、Indirect Cost: ¥2,730,000)
Fiscal Year 2018: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
|
|---|
| Keywords | ３次元内視鏡 / 能動ステレオ法 / DOE / 構造化光 / SLAM / 3次元計測 / 内視鏡 / アクティブステレオ法 / 3次元内視鏡 / パターン投光 / アクティブステレオ / 形状統合 / 形状位置合わせ / ３次元計測 |
|---|
| Outline of Annual Research Achievements |
２０１８年度には、「(1)消化管内部の環境への対応」「(2)対象の色情報と距離情報の同時取得」「(3)形状解像度、距離精度の向上」「(5)実際の人体内部の計測の実現」の研究を推進する予定であった（課題の番号は計画調書に基づく）。
(1)の課題については、内視鏡先端部に、3Dプリンタを利用して、内視鏡先端部においてレンズの洗浄を行う水流で、投光器を洗浄する治具を試作した。また、試作した治具を利用して、豚の胃袋の内部の3次元計測を行った（この実験を実験Aとする）。結果として、実験Aにおいては、明確にパターンが投影された画像を得ることができた。
(2)の課題については、(2a)パターン照明と通常白色照明を同時に点灯して撮影を行い、投影パターンと組織のテクスチャ画像が写った画像からそれぞれの信号を深層学習ネットワークで分離する手法と、(2b)パターン照明と通常白色照明を交互に点灯して撮影を行うことで、投影パターンが写った画像と組織のテクスチャ画像が写った画像をそれぞれ撮影する手法の2種類の手法の研究を実施した。実験Aでは2bの手法を利用し、有効性を確認した。(2a),(2b)のそれぞれの結果について、論文を投稿し、発表が決定している。
(3)の課題については、複数のフレームにわたって形状計測を行い、それらの形状が整合するようにつなぎ合わせることで、計測精度を高める手法を開発した。この成果により、従来研究で問題であった、投光器の校正誤差による形状の歪みが、改善することを確認した。この成果を利用して、実験Aにおいて、豚の胃袋の内部の広い範囲の形状を復元することに成功した。この成果について、論文を投稿中である。
(5)の課題は、最終年度までの実施を見込む、最終目標である。今年度は、実験Aにおいて、粘液などの影響のある生体の内部の形状計測に成功したことが前進的成果である。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本研究の課題としては「(1)消化管内部の環境への対応」「(2)対象の色情報と距離情報の同時取得」「(3)形状解像度、距離精度の向上」「(4)非常に複雑な対象形状への対応」「(5)実際の人体内部の計測の実現」が実施予定であり、２０１８年度には、これらのうち(4)を除く4課題で成果が得られた。特に、課題(3)について、複数フレームにわたってパターン投影をして画像系列を撮影し、それらのフレーム間で整合性が成立するように、内視鏡カメラと投光器の校正パラメータを最適化するアルゴリズムを実装し、形状の精度の改善に成功したことは、本研究の実用性を高める上で重要な成果である。さらに、その成果を利用して、豚の切除済み胃袋の内部の計測（実験A）に成功したことも、本研究の有効性を示すうえで重要な成果である。
ただし、実験Aにおいては、パターン投影画像と白色点光源とを交互に照射することを実現するために、パターン投影画像を内視鏡の鉗子項に挿入し、パターン光源と逆位相で同期した白色点光源は内視鏡の外部に付加した。このような計測は、ヒトなどに適用するには被験者の負担が大きいことから、これらの2系統の光源を、一つのパターン投光器として実現可能かどうか、次年度以降に試みる必要がある。
また、２０１８年度には、大腸など、ひだの多い器官における形状計測については、研究を進めていなかったため、次年度以降に、(4)の課題についての研究を進める必要がある。
全体としては、各課題について成果が得られていることから、自己評価区分としては「おおむね順調に進展している」を選択した。
|
| Strategy for Future Research Activity |
【現在までの進捗状況】の欄で述べたように、２０１９年度には、交互に点灯可能なパターン投影用光源と白色点光源とを両方備えた、鉗子項に挿入可能な超小型パターン投光器が開発可能かどうか検討する。このような投光器を開発できれば、対象となる組織の表面の模様と、パターン投影画像を交互に計測でき、実用的な3次元内視鏡システムの実現に大きく近づくことができる。このために、２０１９年度には、超小型パターン投光器の試作費用を計上する予定である。
また、２０１９年度には、「(4)非常に複雑な対象形状への対応」の課題を進めていく必要がある。この課題の主な想定対象は、大腸である。このために、２０１８年度には、大腸用内視鏡を購入した。これを利用して、大腸の医療用モデルなどを利用して、実際にひだの連なった形状の実験用データを取得し、大腸を対象とした計測での問題点を検討する予定である。２０１８年度に実施した、豚の胃の形状においては、形状の不連続性はあまり問題にならなかったが、大腸のようにひだが連なっている場合、CNNによるパターン検出に問題が生じる恐れがある。このような場合、大腸に似た構造でのパターン投影画像のデータを大量に集め、学習を行うことで問題の解決を試みる。
さらに、２０１９年度に行う試みとして、投影されたパターンの動きと、テクスチャ画像のoptical flowを両方利用した形状計測手法の開発を試みる予定である。これが実現すれば、既に実現しているAcitve stereo法による形状計測手法とは違った状況での形状計測が実現できる可能性がある。
|
Report
(1 results)
Research Products
(11 results)
