| 研究課題/領域番号 |
19K12019
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
新田 直子 大阪大学, 工学研究科, 准教授 (00379132)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 画像変換 / 画像生成 / 非視覚センサ / 屋外環境センシング / 深層学習 |
|---|
| 研究実績の概要 |
本研究は、任意の地点における撮影画像が1枚が入力されたとき、非視覚センサである気象センサにより得られる信号値を用いて、現在の気象状況を表す画像に変換することにより、任意地点、時間におけるカメラ画像を疑似的に生成する技術の開発を目的とする。具体的な工程は、1)画像変換モデルの学習のための気象センサ信号値と画像の対データの収集、2)画像変換モデルの学習、の2つとなる。各工程に対し、以下の内容を実施した。
1) 2019年度に収集した学習データの質を高めるため、ソーシャルネットワーキングサービス（SNS）から、多様な位置、時間において多様なユーザにより撮影された屋外画像を約32万枚収集した。これらに対し、2019年度に開発した方法を用いて、各画像と同じ環境を観測したと考えられる気象センサ信号値を収集した結果、12万個の信頼性の高い対データが収集された。
2) 1)で収集した12万個の対データを用いて、画像から気象センサ信号値を推定する推定器をまず学習し、この推定器を用いて、信頼性の低い対データに対しても画像から気象センサ信号値を推定することにより、疑似的により多くの対データを生成し、学習データとする手法を考案した。生成された疑似的な対データを用いて、画像と気象センサ信号値を入力とし、条件となる信号値に応じて変換した画像を出力とする画像変換モデルを学習することにより、人手で収集した比較的少量の信頼性の高い対データを用いて学習した場合と比べ、より多様な環境を撮影した画像に対して条件に応じた画像が生成できることを確認した。また、時間的に連続した気象センサ信号値列を条件とすることにより、時系列的な気象変化を表す画像列が生成されることも確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
1)に対しては、2019年度に収集した屋外画像を増量すると共に、より多くの情報を含む気象センサ信号値を新たに収集し、さらに非常に類似したデータを削除することなどにより、学習データの質を向上させた。学習データの収集方法はほぼ確立させることができたと考えられる。さらに、1)において収集した画像と気象センサ信号値の対データのうち、信頼性の高いもののみを用いて画像から気象センサ信号値を推定する推定器をあらかじめ学習することにより、画像変換器は大量の屋外画像のみを用いて学習できるよう拡張することができた。これにより、対となる学習データは推定器の学習に十分な量あればよいことになる。また、信号値列を条件とした画像列の生成も可能であることを確認している。これらの研究成果は当初の予定通りであり、おおむね順調に進展していると考える。
|
| 今後の研究の推進方策 |
研究の最初目標として、空模様のみでなく、植物や人物などを含む近景も対象とした画像変換を考えている。そこで現在、気象センサ信号値に応じて人物の服装を変更することを目標とし、さまざまな服装をした人物が撮影された屋外画像と気象センサ信号値対の収集を進めている。また、画像中の人物の身体に相当する領域や服装の種類を推定する手法について調査すると共に、画像中の特定のオブジェクト領域のみを条件に応じて変換する手法についても検討を始めている。今後はこれらをさらに進めることにより、人物を含めた屋外画像を対象とし、気象センサ信号値に応じた画像変換の実現を目指す。
|
| 次年度使用額が生じた理由 |
新型コロナウイルス感染症の蔓延の影響により、成果発表・参加を予定していた国際会議や国内会議などがすべてオンライン開催となり、旅費、参加費などが不要、もしくは減額となったため。今後有料のWebサービスを用いたデータ収集、及び開発環境の整備などに使用する予定である。
|
