| Project/Area Number |
23K20382
|
|---|
| Project/Area Number (Other) |
20H04215 (2020-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2020-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | University of Tsukuba (2021-2024)
National Institute of Informatics (2020) |
|---|
Principal Investigator |
高谷 剛志 筑波大学, システム情報系, 助教 (90809758)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鄭 銀強 東京大学, 大学院情報理工学系研究科, 准教授 (30756896)
青砥 隆仁 筑波大学, システム情報系, 助教 (00785462)
|
|---|
| Project Period (FY) |
2020-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,680,000 (Direct Cost: ¥13,600,000、Indirect Cost: ¥4,080,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2022: ¥2,990,000 (Direct Cost: ¥2,300,000、Indirect Cost: ¥690,000)
Fiscal Year 2021: ¥3,770,000 (Direct Cost: ¥2,900,000、Indirect Cost: ¥870,000)
Fiscal Year 2020: ¥7,800,000 (Direct Cost: ¥6,000,000、Indirect Cost: ¥1,800,000)
|
|---|
| Keywords | コンピュテーショナルフォトグラフィ / コンピュテーショナルイメージング / コンピュータビジョン |
|---|
| Outline of Research at the Start |
従来のコンピュータビジョン研究では，縮退した2次元画像を入力とすることを前提としてきたが，これはカメラという古典的計測デバイスの制約によるものである．本研究では，時空間的な光の挙動に基づくシーン理解を可能とする時空間変調イメージングという新しい計測の枠組みを確立し，その有用性を示すことでコンピュータビジョンにおける前提に革新をもたらすことを目的とする．時空間的な光の挙動は，物体の形状や材質の光学特性，内部構造などと深い関連を持つため，シーン理解において重要な手がかりとなる．
|
| Outline of Annual Research Achievements |
本研究の主課題は，照明光を時空間的に変調する新しい枠組みである「時空間変調イメージング」の基盤確立である．これを実現するため，プロトタイプシステムの構築，キャリブレーション手法の開発，観測モデルの構築，形状・物性計測手法の開発という4つの項目に分けて研究を進めている．本年度は，前年度に作製した偏光Time-of-Flight（ToF）計測システムを用いた材質分類手法の開発を行った．前年度は，固定した距離に設置した物体を対象としていたが，ToF計測はそもそも距離計測技術であり，距離が変わることで計測結果が変化する．そこで，距離によって変動する成分と，材質によって変動する成分とを分離する方法を検討した．結果として，ToF変調周波数を変えて計測した際の計測オフセット成分のみに距離情報が含まれることがわかったため，オフセット除去した信号を用いた材質分類が可能であることを示した．材質が判明することで，ToFによる距離計測誤差を補正できるため，材質分類結果に基づく距離誤差補正が可能となる．
さらに，新しい時空間変調として，光源方向を時間的に変更可能な光源システムを構築し，イベントカメラを用いた能動的な計測によって物体幾何情報である法線マップを推定する手法を検討した．イベントカメラは輝度変化（イベント）を検出するカメラで，高時間分解能，高ダイナミックレンジ，低消費電力という特長を持つ．物体表面の輝度は法線と光源方向で決まるため，リング上のLED光源列を用いて高速に回転する点光源の下で計測されたイベント情報から，物体表面の法線が推定できることがわかった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は，作製したプロトタイプを用いた実験に基づく観測モデルの構築，および形状・光学特性計測手法の開発を目標としていた．目標に対し，距離が異なる場合であっても対象物体の材質分類が可能であることがわかり，変調周波数ごとの計測結果が材質の半透明さに応じて変化する様子が観察された．また，材質分類結果を介して，従来のToF距離計測誤差を補正できることがわかった．今後，計測値と物理的な散乱パラメータとの関係性を明らかにする．
さらに，新しいイメージングとして，時間的に光源方向が変わる時空間変調光源とイベントカメラを用いた法線推定システムの構築に取り組んだ．
|
| Strategy for Future Research Activity |
次年度は，計測結果と物理的なパラメータとの関係性を明らかにし，光学計測に発展させる．また，前年度からの実験において厚さの異なる同材質の分類が可能であることがわかっており，物体内部における材質の変化などを計測できる可能性がある．併せて，空間的な変調方法を角度に発展させることで，形状の情報として，距離ではなく法線を計測できる手法を検討する．
さらに，イベントカメラと時空間変調光源とを組み合わせた物体幾何・材質の計測に取り組む．
|
