Spatio-temporal modulation imaging toward measurements of shape and physical properties
| Project/Area Number |
23K20382
|
|---|
| Project/Area Number (Other) |
20H04215 (2020-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2020-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | University of Tsukuba (2021-2024)
National Institute of Informatics (2020) |
|---|
Principal Investigator |
高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
青砥 隆仁 筑波大学, システム情報系, 助教 (00785462)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2020: ¥7,800,000 (Direct Cost: ¥6,000,000、Indirect Cost: ¥1,800,000)
|
|---|
| Keywords | コンピュテーショナルフォトグラフィ / コンピュテーショナルイメージング / コンピュータビジョン |
|---|
| Outline of Research at the Start |
従来のコンピュータビジョン研究では，縮退した2次元画像を入力とすることを前提としてきたが，これはカメラという古典的計測デバイスの制約によるものである．本研究では，時空間的な光の挙動に基づくシーン理解を可能とする時空間変調イメージングという新しい計測の枠組みを確立し，その有用性を示すことでコンピュータビジョンにおける前提に革新をもたらすことを目的とする．時空間的な光の挙動は，物体の形状や材質の光学特性，内部構造などと深い関連を持つため，シーン理解において重要な手がかりとなる．
|
| Outline of Annual Research Achievements |
本研究の主課題は，照明光を時空間的に変調する新しい枠組みである「時空間変調イメージング」の基盤確立である．これを実現するため，プロトタイプシステムの構築，キャリブレーション手法の開発，観測モデルの構築，形状・物性計測手法の開発という4つの項目に分けて研究を進めている．本年度は，時空間変調光源モジュールと間接Time-of-Flight方式用画像センサを用いたプロトタイプの開発を継続しつつ，新しい挑戦として，偏光計測を導入した．偏光計測は，光沢表面で発生する強い反射光を除去する際や水中計測において散乱を除去する際などに応用される．これは，それらの光学現象が偏光状態を保つことを利用している．すなわち，計測される偏光状態は，物体が持つ光学パラメータに依存する光学現象によって変化するため，偏光状態から物体材質についての物性情報が得られる．そこで，作製したプロトタイプに対し，光源とカメラのそれぞれに直線偏光板を設置し，時間変調計測と偏光計測を組み合わた新しい計測手法を提案した．時間変調によるTime-of-Flight計測は，一般に距離計測に用いられるが，材質の物性，特に半透明性の影響を強く受け，正確な距離計測を乱す．一方で，その乱れには，物性の情報が含まれる．つまり，計測されたTime-of-Flightと偏光状態には，材質物性に関する情報が含まれていることになる．これらのそれぞれは単体で材質分類として用いられてきたが，両者を同時に計測し用いることは未だされていなかった．本年度の成果では，両者を用いることによって，単体の場合よりも材質分類の性能が向上することを確認できた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，作製したプロトタイプを用いた実験に基づく観測モデルの構築，形状・光学特性計測手法の開発を目標としていた．目標に対し，新しく偏光という観点を導入することで，光学特性計測の実現可能性を高めることができた．現在のところは，材質の分類まで達成できており，今後は，材質の光学特性推定に発展する．また，材質分類ができれば，形状推定の際の歪み補正が可能となるため，形状推定の性能向上にもつながっている．
|
| Strategy for Future Research Activity |
次年度は，時空間変調計測に，偏光計測を組み合わせることで，観測される光学成分を単純化し，新しい観測モデルを構築する計画である．当該観測モデルを用いることで，材質分類のみでなく，材質の光学パラメータの推定，さらには形状計測の改善にも発展させる．現在までの実験によって，半透明なアクリル板については，厚さ1mmの違いを区別することが可能であることがわかっており，物体内部の状態にも影響されることが予想される．すなわち，ある程度の種類に限定されていれば，物体内部の状態も分類可能であると考えており，今後の研究において明らかにする計画である．
|
Report
(3 results)
Research Products
(9 results)
