2022 Fiscal Year Research-status Report
Physics-based data augmentation using photometry-based 3d reconstruction
| Project/Area Number |
22K17910
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
|---|
| Project Period (FY) |
2022-04-01 – 2025-03-31
|
| Keywords | 反射特性 / BRDF / 3次元復元 / データ拡張 |
|---|
| Outline of Annual Research Achievements |
本研究課題では，測光学的な3次元形状復元技術によって高精細な形状及び反射特性の情報を獲得し，その情報に編集を加えることでデータ拡張を行うことを目指す．本年度は，主に反射特性の時間変化に着目した反射特性編集手法の研究を推進した．本研究では，反射特性の時間変化を実測したデータセットから，時間変化に関する情報を抽出し，新たな材質に時間変化情報のみを適用することで，実際には観測していない材質が時間変化した際の見えを再現することを考える．時間変化情報の抽出とその適用には，画像編集などで用いられる，特徴空間への埋め込みと特徴空間での編集手法を用いる．このアプローチでは，まずデータを特徴空間へ射影するエンコーダと特徴空間からデータを復元するデコーダを学習する．学習したエンコーダによって射影された特徴空間上での変化はデータの変化を反映しており，また，特徴ベクトルに変化を加えることによって，デコーダによって復元されるデータを変化させることが可能である．提案手法では，時刻ごとにエンコーダによって埋め込んだ時系列特徴ベクトルを用いて，特徴空間上での時間変化を学習する．この学習には，系列データを扱うニューラルネットワーク構造の1つであるTransformer構造を用いる．推定時には，時刻0の反射特性が与えられたとき，まずエンコーダによって特徴空間へ埋め込み，時間変化を学習したモデルによって所望の時刻の特徴ベクトルへと射影する．最後にデコーダに入力することによって所望時刻の反射特性が得られる．今後の方針としては，時間変化を適用したデータに対する評価手法の検討と，データ拡張の側面からの検討を行う予定である．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
本年度は主に反射特性の時系列性を扱うための手法について研究を推進し，一定の進捗があった．
|
| Strategy for Future Research Activity |
時系列変化を加えた反射特性の評価方法についてさらなる検討をすすめる．また，実世界物体の高精細かつ高精度な反射特性の獲得手法についても検討をすすめ，最終的には実観測の反射特性に対して時間変化を適用することを目指す．
|
