• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

4D Earth Captioning

Research Project

Project/Area Number 20H04217
Research Category

Grant-in-Aid for Scientific Research (B)

Allocation TypeSingle-year Grants
Section一般
Review Section Basic Section 61010:Perceptual information processing-related
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

櫻田 健  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70773670)

Co-Investigator(Kenkyū-buntansha) 高村 大也  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究チーム長 (80361773)
Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥17,810,000 (Direct Cost: ¥13,700,000、Indirect Cost: ¥4,110,000)
Fiscal Year 2022: ¥3,640,000 (Direct Cost: ¥2,800,000、Indirect Cost: ¥840,000)
Fiscal Year 2021: ¥7,410,000 (Direct Cost: ¥5,700,000、Indirect Cost: ¥1,710,000)
Fiscal Year 2020: ¥6,760,000 (Direct Cost: ¥5,200,000、Indirect Cost: ¥1,560,000)
Keywords画像説明文生成 / Visual SLAM / 変化検出 / シーングラフ / 説明文生成 / プライバシー
Outline of Research at the Start

本研究では、上空・地上の両視点の画像から、地球上で起きている現象を自動で検出し,任意視点の説明文を生成する手法を開発する。人や車,建物など物体レベルのミクロな現象から,都市全体のマクロな現象まで,多様なスケールの事象を横断的に記述する新たな画像認識問題に対し、多視点幾何と画像説明文生成のモデルを融合することで、人間が知覚しきれない膨大なデータから重要な現象を自動で抽出し、分かりやすく提示するシステムの実現を目指す。

Outline of Annual Research Achievements

本年度は4Dアースキャプショニングを実現するために3Dモデリング、シーンの変化検出・変化説明文生成に関する研究に取り組んだ。
3Dモデリングとしては、プライバシー保護機能を有するVisual SLAMを開発した。本技術により、3次元点群からシーン画像を復元する反転攻撃を防ぎながら、リアルタイムにカメラ姿勢の推定と3次元マップを推定することが可能となった。本研究はコンピュータビジョンのトップカンファレンスの一つであるECCV2020に採択され発表を行なった。
シーンの変化検出手法としては、異なる時刻に撮影された画像ペアのみからシーン変化を推定する自己教師学習手法を開発した。従来の変化検出手法では、シーン変化の正解データを手動でアノテーションする必要があるため作成コストが高く、実用上の大きな障害となっていた。本手法によりその作成コストが不要となり、実用性が大幅に向上した。本手法はロボティクスのトップカンファレンスの一つであるIROS2020に採択され発表を行なった。さらに、物体レベルの変化検出手法も開発し、成果を取りまとめて国際会議に投稿した。これらの研究内では、CGシミュレータを利用してシーン変化の画像データセット作成も行なった。
変化説明文生成の研究としては、まず、データセットの作成と手法のベースモデルを構築した。さらに、上述のCGシミュレータを利用して改めてシーン変化の画像データセットを作成し、クラウドソーシングサービスを利用して各画像ペアに対して説明文を付与した。このデータセットに対して、上述の物体レベルの変化検出モデルを拡張した変化説明文生成モデルを学習し、異なる時刻に撮影された画像ペアからシーン変化の説明文を生成できることを確認した。今後、さらなるモデルの改良を行い、成果をまとめて国際会議に投稿する。

Current Status of Research Progress
Current Status of Research Progress

1: Research has progressed more than it was originally planned.

Reason

次年度に予定していた説明文生成の評価用データセットを構築し、さらに、当初予定していなかったプライバシー保護機能を有するVisual SLAMを開発しその成果がコンピュータビジョンのトップカンファレンスの一つであるECCV2020に採択された。それらに加えて、シーンの変化検出手法もロボティクスのトップカンファレンスの一つであるIROS2020に採択されるなど外部から高い評価を受けた。

Strategy for Future Research Activity

今後は、作成した変化説明文生成のデータセットを利用して、変化説明文生成モデルの改良に取り組む。さらに実画像データセットを作成し、大量のCGデータと少量の実画像データセットから説明文生成モデルを高精度化する研究にも取り組む。

Report

(1 results)
  • 2020 Annual Research Report

Research Products

(11 results)

All 2020 Other

All Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 2 results) Presentation (7 results) Remarks (1 results)

  • [Journal Article] Privacy Preserving Visual SLAM2020

    • Author(s)
      Shibuya Mikiya、Sumikura Shinya、Sakurada Ken
    • Journal Title

      Proceedings of European Conference on Computer Vision

      Volume: - Pages: 102-118

    • DOI

      10.1007/978-3-030-58542-6_7

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] Self-supervised Simultaneous Alignment and Change Detection2020

    • Author(s)
      Furukawa Yukuko、Suzuki Kumiko、Hamaguchi Ryuhei、Onishi Masaki、Sakurada Ken
    • Journal Title

      Proceedings of IEEE/RSJ International Conference on Intelligent Robots and Systems

      Volume: - Pages: 6025-6031

    • DOI

      10.1109/iros45743.2020.9340840

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed / Open Access
  • [Journal Article] GAN-Based SAR-to-Optical Image Translation with Region Information2020

    • Author(s)
      Doi Kento、Sakurada Ken、Onishi Masaki、Iwasaki Akira
    • Journal Title

      Proceedings of IEEE International Geoscience and Remote Sensing Symposium

      Volume: -

    • DOI

      10.1109/igarss39084.2020.9323085

    • Related Report
      2020 Annual Research Report
    • Peer Reviewed
  • [Presentation] プライバシー保護を考慮したVisual SLAM2020

    • Author(s)
      渋谷 樹弥,角倉 慎弥,横田 理央, 櫻田 健
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Graph Residual Networks for Semantic Segmentation2020

    • Author(s)
      濱口 竜平,古川 泰隆,大西 正輝, 櫻田 健
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 三次元構造エッジ推定に基づく深層学習を用いた単眼画像からのシーンメッシュ復元2020

    • Author(s)
      金子 真也,櫻田 健,池畑 諭, 相澤 清晴
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 自己教師あり学習による位置合わせとシーン変化の同時推定2020

    • Author(s)
      古川 悠久子,鈴木久美子,濱口 竜平,大西 正輝, 櫻田 健
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] Unsupervised dense depth estimation from event camera2020

    • Author(s)
      芝 慎太朗,金子 真也,青木 義満,櫻田 健
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] 3Dシーン認識による自己教師あり変化検出手法2020

    • Author(s)
      鈴木久美子,古川 悠久子,濱口 竜平,大西 正輝,櫻田 健
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Presentation] エピポーラ拘束付きの深層グラフマッチングを用いた視点変化に堅牢な変化検出手法の提案2020

    • Author(s)
      岩瀬 駿,横田 理央,櫻田 健
    • Organizer
      第23回画像の認識・理解シンポジウム(MIRU)
    • Related Report
      2020 Annual Research Report
  • [Remarks] Privacy Preserving Visual SLAM

    • URL

      https://xdspacelab.github.io/lcvslam/

    • Related Report
      2020 Annual Research Report

URL: 

Published: 2020-04-28   Modified: 2022-04-19  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi