| Project/Area Number |
23K11874
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 90130:Medical systems-related
|
|---|
| Research Institution | Osaka Metropolitan University |
|---|
Principal Investigator |
吉本 佳世 大阪公立大学, 大学院工学研究科, 講師 (00735409)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,420,000 (Direct Cost: ¥3,400,000、Indirect Cost: ¥1,020,000)
Fiscal Year 2025: ¥1,170,000 (Direct Cost: ¥900,000、Indirect Cost: ¥270,000)
Fiscal Year 2024: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
|
|---|
| Keywords | 位置推定 / ３次元計測 / 画像処理 / 分光反射率推定 / 内視鏡 / ３次元 |
|---|
| Outline of Research at the Start |
内視鏡の発達により，消化管の診断・治療技術は格段に向上してきた．しかし，内視鏡は視野が狭く，一度に消化管全体を確認することが困難である．そこで，本研究では内視鏡映像から食道や胃全体の３次元形状を取得するシステムの開発を目指し，その基本要素技術の確立を目指す．胃の粘膜など生体組織は特徴が少なく，３次元形状を取得するために必要な画像間のマッチングを正確に行うことが困難である．そこで，特徴を増やすためにマルチスペクトラルイメージングに着目し，カラー画像から推定した分光反射率を用いて疑似マルチスペクトラル画像を生成することにより，画像間のマッチング割合を向上させて高密度の３D画像取得を目指す．
|
| Outline of Annual Research Achievements |
本研究では内視鏡映像から食道や胃全体の３次元形状を取得するシステムの開発を目指している．本年度はカメラパラメータ推定方法の構築および機械学習を用いて誤ったマッチング点を除去した位置推定について検討した。
生体組織は特徴が少なく、３次元形状を取得するために必要な画像間のマッチングを正確に行うことが困難である。そこで，特徴を増やすためにマルチスペクトラルイメージングに着目する。しかし、マルチスペクトラルイメージングを用いるためにはフィルタなどが必要となり、光学系が大きくなってしまうため内視鏡への適応には適さないため、カラー画像から推定した分光反射率を用いて疑似マルチスペクトラル画像を生成し、画像間のマッチング割合を向上させて精度を上げることを考えた。この方法を用いるためにはカメラの波長感度が必要であるが、内視鏡などではこれらのパラメータが不明となっているため推定する必要がある。そこで、フィルタを用いて実際に取得した分光画像を用いて校正を行い、感度が未知のカメラにおいても一度パラメータの推定をすることで分光反射率推定が行えることを確認した。
また、別途マッチングの誤りについて機械学習を用いて除去する方法について検討した。特徴マッチングにより得られたマッチング点をエピポーラ幾何、オプティカルフローの長さ、再投影誤差により評価し、機械学習を用いて誤ったマッチング点と正しいマッチング点の分類を行うことで正しいマッチング点のみでカメラの移動推定を行うシステムを構築した。得られた特徴すべてを用いると、誤ったマッチングの影響によりカメラ位置の推定結果の誤差が大きくなったが、提案手法を用いて正しいマッチング点と考えられるもののみ利用すると推定精度が向上することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り、カメラパラメータの推定手法の構築とカメラの位置推定についての検討を行うことができており、おおむね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
本年度行ったカメラの位置推定には、通常のカラー画像を用いた特徴マッチングを使用しており、分光反射率推定を用いて特徴を増やした状況では行っていない。今後は擬似マルチスペクトラル画像を作成し、作成した画像から取得した特徴点を用いてマッチングを行うことでより精度を上げていくことを考えている。また、３Dスキャナを用いて取得した３次元形状と、画像から推定した３次元形状の比較を行う予定である。
|
