| Project/Area Number |
19K12019
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 61010:Perceptual information processing-related
|
|---|
| Research Institution | Osaka University |
|---|
Principal Investigator |
Naoko Nitta 大阪大学, 工学研究科, 准教授 (00379132)
|
|---|
| Project Period (FY) |
2019-04-01 – 2022-03-31
|
| Project Status |
Completed (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2021: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2020: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
Fiscal Year 2019: ¥1,560,000 (Direct Cost: ¥1,200,000、Indirect Cost: ¥360,000)
|
|---|
| Keywords | 画像変換 / 画像生成 / 非視覚センサ / 屋外環境センシング / 深層学習 |
|---|
| Outline of Research at the Start |
様々なサービスで公開されるライブカメラの画像は、各地の気象状況や河川や道路の状況などを視覚的に提示するが、設置場所が非常に限定される。一方、気象状況を観測する気象レーダなど、多くの場所の観測情報が公開される非視覚センサも存在する。本研究では、公開されたセンサ情報を用いた、任意の位置、時間におけるライブカメラ画像の疑似的生成を目的とする。具体的には、任意の環境に対し、ある時点の撮影画像1枚から構造物などの静的な要素、気象レーダなどの非視覚センサから空模様など動的な要素に関連する情報が取得できると考え、与えられた画像を非視覚センサ情報に応じて変更し、環境の現状を表す画像を生成する手法を確立する。
|
| Outline of Final Research Achievements |
The goal of this research is to develop a technique for generating pseudo outdoor images captured at arbitrary times and locations by transforming an outdoor image captured at a specific location according to the non-visual signals captured by a weather sensor. To achieve this, we have proposed a method for collecting a small number of consistent pairs of outdoor images and weather sensor signals, and methods for training networks for transforming a distant view containing sky and ground and a close-to-mid range view containing persons by utilizing more easily available large-scale datasets of outdoor images or fashion images.
|
| Academic Significance and Societal Importance of the Research Achievements |
本研究は、近年盛んに研究されている敵対的生成ネットワークを、視覚センサと非視覚センサという2つの異なる特性を持ったセンサから得られる生の観測情報に適用することにより、疑似的な視覚センサによる観測情報を生成する試みである。特に、ネットワークの学習データとして、誤った情報となるノイズを多く含むデータしか得られないという問題に対し、同じ環境を観測するセンサの観測情報に存在すべき整合性などを考慮した上で、他のより入手が容易なデータを補完的に用いることにより、学習が適切に行われることを実験的に検証し、画像生成技術のセンシング応用への可能性を示した。
|
