2023 Fiscal Year Research-status Report
分光反射率推定を利用した消化管の３Ｄ画像生成システムの開発
| Project/Area Number |
23K11874
|
|---|
| Research Institution | Osaka Metropolitan University |
|---|
Principal Investigator |
吉本 佳世 大阪公立大学, 大学院工学研究科, 講師 (00735409)
|
|---|
| Project Period (FY) |
2023-04-01 – 2026-03-31
|
| Keywords | 位置推定 / ３次元計測 / 画像処理 / 分光反射率推定 |
|---|
| Outline of Annual Research Achievements |
本研究では内視鏡映像から食道や胃全体の３次元形状を取得するシステムの開発を目指している．本年度はカメラパラメータ推定方法の構築および機械学習を用いて誤ったマッチング点を除去した位置推定について検討した。
生体組織は特徴が少なく、３次元形状を取得するために必要な画像間のマッチングを正確に行うことが困難である。そこで，特徴を増やすためにマルチスペクトラルイメージングに着目する。しかし、マルチスペクトラルイメージングを用いるためにはフィルタなどが必要となり、光学系が大きくなってしまうため内視鏡への適応には適さないため、カラー画像から推定した分光反射率を用いて疑似マルチスペクトラル画像を生成し、画像間のマッチング割合を向上させて精度を上げることを考えた。この方法を用いるためにはカメラの波長感度が必要であるが、内視鏡などではこれらのパラメータが不明となっているため推定する必要がある。そこで、フィルタを用いて実際に取得した分光画像を用いて校正を行い、感度が未知のカメラにおいても一度パラメータの推定をすることで分光反射率推定が行えることを確認した。
また、別途マッチングの誤りについて機械学習を用いて除去する方法について検討した。特徴マッチングにより得られたマッチング点をエピポーラ幾何、オプティカルフローの長さ、再投影誤差により評価し、機械学習を用いて誤ったマッチング点と正しいマッチング点の分類を行うことで正しいマッチング点のみでカメラの移動推定を行うシステムを構築した。得られた特徴すべてを用いると、誤ったマッチングの影響によりカメラ位置の推定結果の誤差が大きくなったが、提案手法を用いて正しいマッチング点と考えられるもののみ利用すると推定精度が向上することを確認した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定通り、カメラパラメータの推定手法の構築とカメラの位置推定についての検討を行うことができており、おおむね順調に進展していると考えている。
|
| Strategy for Future Research Activity |
本年度行ったカメラの位置推定には、通常のカラー画像を用いた特徴マッチングを使用しており、分光反射率推定を用いて特徴を増やした状況では行っていない。今後は擬似マルチスペクトラル画像を作成し、作成した画像から取得した特徴点を用いてマッチングを行うことでより精度を上げていくことを考えている。また、３Dスキャナを用いて取得した３次元形状と、画像から推定した３次元形状の比較を行う予定である。
|
| Causes of Carryover |
システムの検証に使用するファントムモデルについての選定が遅れ購入を見送ったため。ふさわしいものを選定し次年度予算と合わせて購入予定である。
|
