研究課題/領域番号 |
22K17910
|
研究種目 |
若手研究
|
配分区分 | 基金 |
審査区分 |
小区分61010:知覚情報処理関連
|
研究機関 | 大阪大学 |
研究代表者 |
山藤 浩明 大阪大学, 大学院情報科学研究科, 助教 (40830906)
|
研究期間 (年度) |
2022-04-01 – 2025-03-31
|
研究課題ステータス |
交付 (2022年度)
|
配分額 *注記 |
4,680千円 (直接経費: 3,600千円、間接経費: 1,080千円)
2024年度: 1,040千円 (直接経費: 800千円、間接経費: 240千円)
2023年度: 1,950千円 (直接経費: 1,500千円、間接経費: 450千円)
2022年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
|
キーワード | 反射特性 / BRDF / 3次元復元 / データ拡張 / コンピュータビジョン / 画像生成 / 機械学習 / 3次元形状復元 |
研究開始時の研究の概要 |
画像中の物体認識などのタスクにおいて,学習データの少ない物体を対象とする場合,推定精度が大きく低下してしまう.とくに植物や廃棄物など,同一の物体であっても汚れや変形,傷などによって見えが大きく変化する物体を対象とする場合に,それらすべてを学習データとして収集することが困難である.そこで本研究では,物体の見えを構成する物理的な要素に着目し,データを拡張する手法を提案する.結果として,収集した少数の観測データをもとに,汚れや変形,傷,光源環境,観測視点の変化など多様な状態変化を網羅する学習データを生成できる.
|
研究実績の概要 |
本研究課題では,測光学的な3次元形状復元技術によって高精細な形状及び反射特性の情報を獲得し,その情報に編集を加えることでデータ拡張を行うことを目指す.本年度は,主に反射特性の時間変化に着目した反射特性編集手法の研究を推進した.本研究では,反射特性の時間変化を実測したデータセットから,時間変化に関する情報を抽出し,新たな材質に時間変化情報のみを適用することで,実際には観測していない材質が時間変化した際の見えを再現することを考える.時間変化情報の抽出とその適用には,画像編集などで用いられる,特徴空間への埋め込みと特徴空間での編集手法を用いる.このアプローチでは,まずデータを特徴空間へ射影するエンコーダと特徴空間からデータを復元するデコーダを学習する.学習したエンコーダによって射影された特徴空間上での変化はデータの変化を反映しており,また,特徴ベクトルに変化を加えることによって,デコーダによって復元されるデータを変化させることが可能である.提案手法では,時刻ごとにエンコーダによって埋め込んだ時系列特徴ベクトルを用いて,特徴空間上での時間変化を学習する.この学習には,系列データを扱うニューラルネットワーク構造の1つであるTransformer構造を用いる.推定時には,時刻0の反射特性が与えられたとき,まずエンコーダによって特徴空間へ埋め込み,時間変化を学習したモデルによって所望の時刻の特徴ベクトルへと射影する.最後にデコーダに入力することによって所望時刻の反射特性が得られる.今後の方針としては,時間変化を適用したデータに対する評価手法の検討と,データ拡張の側面からの検討を行う予定である.
|
現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本年度は主に反射特性の時系列性を扱うための手法について研究を推進し,一定の進捗があった.
|
今後の研究の推進方策 |
時系列変化を加えた反射特性の評価方法についてさらなる検討をすすめる.また,実世界物体の高精細かつ高精度な反射特性の獲得手法についても検討をすすめ,最終的には実観測の反射特性に対して時間変化を適用することを目指す.
|