| Project/Area Number |
23KJ1050
|
|---|
| Research Category |
Grant-in-Aid for JSPS Fellows
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 国内 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Shizuoka University |
|---|
Principal Investigator |
吉田 道隆 静岡大学, 電子工学研究所, 特別研究員(PD)
|
|---|
| Project Period (FY) |
2023-04-25 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2025: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2024: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
Fiscal Year 2023: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 圧縮センシング / Time of Flight / 符号化 / 深層学習 |
|---|
| Outline of Research at the Start |
センサの時間分解能が低いことに起因する従来のToF 形式の距離計測の問題を圧縮センシングを用いることにより改善する．従来からセンサの改良やDNN を用いて撮影画像を補正する手法などが提案されているが，近年ではハードウェア単独・ソフトウェア単独の改善では限界に近付きつつある．そこで，本研究では圧縮センシングを用いて符号化ToFセンサにより時間情報を圧縮した画像を撮影し，後処理により時間情報を抽出することで距離測定性能を向上させる．撮影時のセンサのパラメータ設定と撮影画像の後処理をDNNを用いて同時に最適化することにより従来手法の限界を突破する．
|
| Outline of Annual Research Achievements |
ToFセンサとは，光源が発光してから対象に反射しセンサに到達するまでの時間を計測することで，距離が取得可能なセンサであり，自動運転や自立型のロボットのセンサとして近年需要が高まっている．本研究では，従来のセンサの時間分解能が低いことに起因するToF方式の距離計測の問題を圧縮センシングを用いることにより改善する．
シャッタを用いて環境の応答を時間的に符号化することで従来より多くの時間情報を観測することが可能となる．この符号化露光画像からtransient image (時間過渡画像)を再構成することで光の環境内でのふるまいを分析することができるためより正確な距離推定が可能となる．
今年度は符号化露光画像からtransient image (時間過渡画像)の再構成ネットワークの構築及び符号化ToFセンサの符号化パラメータと再構成ネットワークの同時最適化に取り組んだ．符号化露光画像からtransient image 再構成ネットワークは交互方向乗数法(ADMM)を深層展開したモデルを用いた．ADMMは問題を分割し，交互に最適化することで効果的に問題を解くアルゴリズムであり，繰り返し計算が必要である．繰り返し計算は計算コストが高いため，この繰り返し計算を深層モデルへ置き換える．ADMMにおけるデノイジング過程を深層モデルで表現し，繰り返すステップ数を固定することで高速で精度の良い再構成を達成した．また，センサ制約を満たす符号化パターンをランダムに複数用意し，その中で最も再構成誤差の小さいものを採用することで符号化パターンの最適化を行った．符号化パターンの選択と再構成ネットワークの学習を交互に繰り返すことで同時に最適化を行った．同時最適化によりランダムな符号化パターンを用いたときと比べ再構成されたtransient imageとそこから推定されるシーンの奥行の双方で品質が向上した．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
当初の予定では符号化ToFセンサの符号化パラメータと再構成ネットワークの同時最適化は，符号化ToFセンサでの符号化をニューラルネットワークで表現し再構成ネットワークと同時に再構成誤差の逆伝播により最適化する予定であった．しかし，符号化ToFセンサにはセンサ駆動の制約により実現できる符号化パターンに制約がある．この制約を含めて最適化しようとすると誤差関数による勾配方向と符号化パターンの更新方向が必ずしも一致せず，符号化パターンの最適化がうまくいかなかった．そこで，符号化パラメータをニューラルネットワークで表現するのではなく，センサ制約を満たす符号化パターンをランダムに複数用意し，その中で最も再構成誤差の小さいものを選択するという貪欲法に似た手法により再構成ネットワークと符号化パラメータの同時最適化を実現した．
この成果について，国際学会にて報告予定である．
|
| Strategy for Future Research Activity |
Transient imageは環境内での光のふるまいを分析するために非常に有用であるが，データ容量が大きく，またtransient imageの再構成処理そのものが計算量が多いため計算資源が限られる場面には活用が難しい．符号化露光画像にはtransient imageを再構成できるだけの情報が含まれているはずであるため，符号化露光画像からtransient imageの再構成を経ずに直接距離を推定する手法を検討する．
|
