2021 Fiscal Year Annual Research Report
非視覚センサ情報を用いたリアルタイムな屋外画像の生成
| Project/Area Number |
19K12019
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
新田 直子 大阪大学, 工学研究科, 准教授 (00379132)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Keywords | 画像変換 / 画像生成 / 非視覚センサ / 屋外環境センシング / 深層学習 |
|---|
| Outline of Annual Research Achievements |
本研究は、任意の地点における撮影画像が1枚が入力されたとき、非視覚センサである気象センサにより得られる信号値を用いて、現在の気象状況を表す画像に変換することにより、任意地点、時間におけるカメラ画像を疑似的に生成する技術の開発を目的とする。最終年度である2021年度は、人物を含む画像を対象に、気象センサ信号値に応じて人物の服装を変更することを目標とした。具体的な工程は、1)画像変換器の学習のための気象センサ信号値と画像の対データの収集、2)画像変換器の学習、の2つとなる。各工程に対し、以下の内容を実施した。
1) これまで収集した屋外画像のうち人物を含むもののみを抽出した結果、2万5千対の屋外画像と気象センサ信号値の対を得た。2)の画像変換モデルの学習には不十分なデータ数であるため、既存のデータセットを利用し、服装の種類がラベル付けされた人物画像を11万枚用意した。これを用いて、人物画像から服装の種類を推定する服装推定器を学習し、収集した2万5千枚の屋外画像に適用し、1万5千枚の服装の種類と気象センサ信号値の対に変換した。
2) まず11万枚の服装の種類がラベル付けされた人物画像を用いて、入力された服装の種類に応じて人物画像の服装を変換する画像変換器を学習した。さらに、1万5千対の服装の種類と気象センサ信号値を用いて、気象センサ信号値から服装の種類を推定する推定器を学習した。これにより、まず気象センサ信号値に応じた服装の種類を推定し、推定された服装の種類に応じて屋外画像中の人物の服装を変換するという2段階の処理を通して、気象センサ信号値に応じた人物の服装変換を実現した。変換画像と気象信号値に対する服装推定結果の一致度により変換画像を評価した結果、同じ環境における屋外画像と気象信号値の対と同等の一致度となり気象に応じた画像に変換されていることを確認した。
|
