Physics-based data augmentation using photometry-based 3d reconstruction
| Project/Area Number |
22K17910
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Project Status |
Granted (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2024: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2023: ¥1,950,000 (Direct Cost: ¥1,500,000、Indirect Cost: ¥450,000)
Fiscal Year 2022: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | 反射特性 / BRDF / 3次元復元 / データ拡張 / コンピュータビジョン / 画像生成 / 機械学習 / ３次元形状復元 |
|---|
| Outline of Research at the Start |
画像中の物体認識などのタスクにおいて，学習データの少ない物体を対象とする場合，推定精度が大きく低下してしまう．とくに植物や廃棄物など，同一の物体であっても汚れや変形，傷などによって見えが大きく変化する物体を対象とする場合に，それらすべてを学習データとして収集することが困難である．そこで本研究では，物体の見えを構成する物理的な要素に着目し，データを拡張する手法を提案する．結果として，収集した少数の観測データをもとに，汚れや変形，傷，光源環境，観測視点の変化など多様な状態変化を網羅する学習データを生成できる．
|
| Outline of Annual Research Achievements |
本研究課題では，測光学的な3次元形状復元技術によって高精細な形状及び反射特性の情報を獲得し，その情報に編集を加えることでデータ拡張を行うことを目指す．本年度は，主に反射特性の時間変化に着目した反射特性編集手法の研究を推進した．本研究では，反射特性の時間変化を実測したデータセットから，時間変化に関する情報を抽出し，新たな材質に時間変化情報のみを適用することで，実際には観測していない材質が時間変化した際の見えを再現することを考える．時間変化情報の抽出とその適用には，画像編集などで用いられる，特徴空間への埋め込みと特徴空間での編集手法を用いる．このアプローチでは，まずデータを特徴空間へ射影するエンコーダと特徴空間からデータを復元するデコーダを学習する．学習したエンコーダによって射影された特徴空間上での変化はデータの変化を反映しており，また，特徴ベクトルに変化を加えることによって，デコーダによって復元されるデータを変化させることが可能である．提案手法では，時刻ごとにエンコーダによって埋め込んだ時系列特徴ベクトルを用いて，特徴空間上での時間変化を学習する．この学習には，系列データを扱うニューラルネットワーク構造の1つであるTransformer構造を用いる．推定時には，時刻0の反射特性が与えられたとき，まずエンコーダによって特徴空間へ埋め込み，時間変化を学習したモデルによって所望の時刻の特徴ベクトルへと射影する．最後にデコーダに入力することによって所望時刻の反射特性が得られる．今後の方針としては，時間変化を適用したデータに対する評価手法の検討と，データ拡張の側面からの検討を行う予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は主に反射特性の時系列性を扱うための手法について研究を推進し，一定の進捗があった．
|
| Strategy for Future Research Activity |
時系列変化を加えた反射特性の評価方法についてさらなる検討をすすめる．また，実世界物体の高精細かつ高精度な反射特性の獲得手法についても検討をすすめ，最終的には実観測の反射特性に対して時間変化を適用することを目指す．
|
Report
(1 results)
Research Products
(1 results)
