| 研究課題/領域番号 |
19K12019
|
|---|
| 研究機関 | 大阪大学 |
|---|
研究代表者 |
新田 直子 大阪大学, 工学研究科, 准教授 (00379132)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 画像変換 / 画像生成 / 非視覚センサ / 屋外環境センシング / 深層学習 |
|---|
| 研究実績の概要 |
本研究は、任意の地点における撮影画像が1枚が入力されたとき、非視覚センサである気象センサにより得られる信号値を用いて、現在の気象状況を表す画像に変換することにより、任意地点、時間におけるカメラ画像を疑似的に生成する技術の開発を目的とする。具体的な工程は、1)画像変換モデルの学習のためのセンサ情報と画像の収集、2)画像変換モデルの学習、の2つとなる。初年度である2019年度は各工程に対し、以下の内容を実施した。
1) 質のよい多様な遠景画像が投稿され得るソーシャルネットワーキングサービス（SNS）から、撮影位置の緯度経度情報及び撮影時間が分かる屋外画像を収集した後、位置及び時間情報に基づき、同じ環境に対する気象センサの信号値を収集した。ただし、画像やセンサ情報の位置や時間情報の信頼性などの問題から、位置と時間に基づく対応付けのみでは、必ずしも同じ環境に対する画像とセンサ情報の対が得られない。そこで、信頼できる少量のデータセットを用いて、画像と気象センサの信号値それぞれに対する天候クラス推定器を学習し、収集した画像と気象センサの信号値それぞれに適用し、推定される気象クラスの整合性に基づき、信頼性の高い学習データを自動的に選別する手法を考案した。実際に画像共有サービスであるFlickrに投稿された約76万枚の屋外画像から、人手で選別したデータセットと同程度の品質で、約17万対の学習データが選別されたことを確認した。
2) 画像とセンサ情報を入力とし、条件となるセンサ情報に応じて変換した画像を出力とす る画像変換ネットワークを考案した。人手で選別した少数のデータセットや1)で収集したデータセットを利用した学習データの拡張などにより、晴れ、曇り、雨などの空模様を表す屋外画像に対して、条件となるセンサ情報に応じた自然な疑似画像が生成されることを確認した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
本研究の具体的な工程である1)画像変換モデルの学習のためのセンサ情報と画像の収集に対して、約17万枚という大量かつ整合性のとれた屋外画像と気象センサの信号値対の収集を実現した。収集のための処理はすべて自動化されており、今後さらなる学習データの追加も容易に行える。また、2)画像変換モデルの学習に対しても、近年、実画像に近い画像の生成に利用されるGAN（Generative Adversarial Network：敵対的生成ネッ トワーク）と呼ばれるネットワークをベースに、条件に応じた画像変換を行うネットワーク構成を考案した。さらに、1)の工程により自動的に収集されるデータセットに対する前処理などにより、屋外画像と気象センサの信号値の整合性を保証することにより、センサ情報と画像間の関係を正しく学習できることを確認した。これらの研究成果は当初の予定通りであり、おおむね順調に進展していると考える。
|
| 今後の研究の推進方策 |
2)画像変換モデルの学習においては、信頼性の高い学習データが大量に必要となる。2019年度は、1)画像変換モデルの学習のためのセンサ情報と画像の収集に対して、屋外画像と気象センサの信号値の整合性に基づく選別方法を考案したが、選別される量は整合性に対する閾値に依存する。よって2020度は、主に2)の課題に対し、1)で収集したデータセットに対して、信頼性を考慮した上で、より多くのデータ対を学習データとして利用できるような画像変換ネットワークの学習方法について検討する。また、条件として与えるセンサ情報の拡張などにより、環境の現状を表すという観点から生成画像の高精度化を目指す。
さらに、研究の最初目標として、空模様のみでなく、植物や人物などを含む近景も対象とした画像変換を目指すため、植物やさまざまな服装をした人物が撮影された屋外画像と気象センサの信号値対を収集を開始する。環境中の動的要素として人物の服装や花の開花情報などを対象とした場合、生成画像において環境の気候や開花状況が分かればよいと考えれば、服や花の色や柄などは実際の状況と一致しなくてもよい。これを踏まえた画像変換手法についても検討を始める。
|
| 次年度使用額が生じた理由 |
既存の開発環境の利用により、設備備品費の一部を、次年度の国際会議における成果発表用の費用に変更する予定であったことに加え、新型コロナウイルス感染症の蔓延の影響により、当初成果発表・参加を予定していた研究会などが複数中止となったため。
|
