| 研究課題/領域番号 |
19K06115
|
|---|
| 研究機関 | 東京農業大学 |
|---|
研究代表者 |
國井 洋一 東京農業大学, 地域環境科学部, 教授 (10459711)
|
|---|
| 研究期間 (年度) |
2019-04-01 – 2022-03-31
|
| キーワード | 深層学習 / Semantic Segmentation / 画像生成 / GAN |
|---|
| 研究実績の概要 |
研究開始初年度の2019年度においては、日本国内において多種多様な景観写真を撮影・収集し、その景観を構成する各要素の分類手法を確立することを主目的とした。要素の分類手法としてはSemantic Segmentationを検討した。Semantic Segmentationは多量のサンプル写真をデータセットとして読み込ませることで、写真に写っている要素を学習し自動での分類を可能とするものである。
本研究ではまず東京都内における代表的な庭園や公園として、小石川後楽園、日比谷公園、新宿御苑、代々木公園の計4ヶ所を調査対象地に選定した。上記の4ヶ所において現地調査を実施し、それぞれ1,000枚ずつ計4,000枚の景観画像の撮影を行った。
つぎに、撮影したデータを用いて、Semantic Segmentationを行うべくPSPNetを用いセグメンテーション画像を作成した。PSPNetとは、Semantic Segmentation手法の１つである2画像系深層学習の中でも、PSPNetはオブジェクト間の関連性や類似性の判別、不明瞭なクラスの検出を行わせることを目的に開発されたものである。以上のデータを結合したものを学習データとして用い、pix2pixにて学習し画像生成を行った。pix2pixとは、GANを利用した画像生成アルゴリズムである。GANはデータから特徴を学習することで、実在しないデータを生成、存在するデータの特徴に沿って変換するなどを可能とする生成ネットワークの一種、教師なし学習の一手法である。しかし、pix2pixは、教師なし学習ではなく条件を付加し二枚一対の画像から画像間の関係性を学習し、その画像の関係を考慮した画像を生成する教師あり学習である。
以上により、2019年度においては実撮影画像をTargetとした画像生成手法の検討を行い、各種学会等にて報告を実施した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
景観写真の収集においては、東京都内の主要な造園空間において4,000枚を入手することができた。一方、日本全国に対象範囲を広げての収集を実施することができなかったことが、今後の課題として残された形となった。
解析においては、Semantic Segmentationによる分類はおおむね順調であり、精度の高い成果が得られている。一部、水面などの要素において誤差が見られる場合もあるため、今後追究が必要と考えている。
さらに、画像生成機能の追究にも着手することができたため、今後の展望として点数化以上の幅が広がったといえる。
|
| 今後の研究の推進方策 |
Semantic Segmentationにより分類可能となった各要素に対し、3次元情報を付与するための写真測量法を確立する。通常、写真測量によって3次元情報を取得するためには複数枚の写真が必要となるが、本研究では申請者が開発した1枚の写真のみから奥行き情報を得る手法を適用する。
以上により得られる各情報をVQMに適用し、自動処理による景観の点数化を試みる。ここでの点数化についても、手動処理との比較を随時実施して信頼性を確保する。
なお、ここで試算された景観の点数は、人の評価とのマッチングを図ることとする。評価手法としてはSD法を基盤とするが、一意の点数としての出力も視野に入れる。
一方、写真からの点数の自動算出については、VQMを基盤とした開発を進める。具体的には、既存のVQMは北米の景観に対する調査によって各係数等が定められているため、それらをアンケートに基づいて日本仕様に改良する。さらに、既存のVQMにおいて考慮される3次元情報は主観に近い奥行き情報であるため、定量的な3次元座標を考慮するよう改良する。
以上により開発される点数化システムはWeb公開し、使用者からのフィードバックによってさらに改良を継続し、その後の研究展開にも繋げる。
|
