画像空間と画像変換学習システムの構造

• 研究課題/領域番号: 20H00615
• 研究種目: 基盤研究(A)
• 配分区分: 補助金
• 応募区分: 一般
• 審査区分: 中区分61:人間情報学およびその関連分野
• 研究機関: 早稲田大学
• 研究代表者: 石川 博 早稲田大学, 理工学術院, 教授 (60381901)
• 研究期間 (年度): 2020-04-01 – 2025-03-31
• 研究課題ステータス: 交付 (2024年度)
• 配分額: 44,200千円 (直接経費: 34,000千円、間接経費: 10,200千円); 2024年度: 7,800千円 (直接経費: 6,000千円、間接経費: 1,800千円); 2023年度: 12,350千円 (直接経費: 9,500千円、間接経費: 2,850千円); 2022年度: 7,800千円 (直接経費: 6,000千円、間接経費: 1,800千円); 2021年度: 11,180千円 (直接経費: 8,600千円、間接経費: 2,580千円); 2020年度: 5,070千円 (直接経費: 3,900千円、間接経費: 1,170千円)
• キーワード: CNN

研究開始時の研究の概要

コンピュータビジョンに飛躍的性能向上をもたらしたのは一般のニューラルネットワークではなく、変数に空間的な意味を与え、近傍や対称性の概念を導入した畳み込みニューラルネットワーク(CNN)である。最近の発見によれば、CNNは、あたかも自然画像を好むかのように、全く学習することなくある種の画像変換問題を解くことさえできる。これはCNNのネットワーク構造自体が、自然画像の統計をかなりの程度体現していることを示唆する。本研究ではその仕組みを解き明かすこと、及びより一般の対称性などの構造の組合せにより学習システムを統一的に設計する手法の開発を目標とする。

研究実績の概要

まず、CNNの領域分割能力に着目し、一回の推論では十分な領域分割ができないことを確認した。この問題に対応するため、従来の領域分割アルゴリズムをニューラルネット内部で使用可能なモジュールとして実装することに取り組み、既存の深層学習フレームワーク上で動作するGPUを用いた領域分割モジュールの実装が完了した。また、本手法を利用することで既存のタスクでのCNNの性能改善ができるか検証したが、その学習の不安定さから、大きな性能改善には繋がらないことを確認した。また、最近大きな性能改善を達成している拡散生成モデルにおいては、CNNの推論を複数回行い画像を処理するため、推論回数を増やすことで特別な処理なく領域分割の性能を向上させることが可能である。そのため、領域分割の認識能力が出力の見た目を左右する動画像処理タスクにおいて、拡散生成モデルを使用し動画生成・補間の性能を向上させる手法の研究に取り組んだ。一方、昨年度取り組み始めたVQAの一種としての物体計数タスク、および画像の美的評価のタスクについて、前者では、急速に重要性を増している言語モデルと画像との連携を行うことにより、モデルを訓練するための学習データを生成することをめざして、数のわかっている人間の画像をできるだけ現実の写真に似るように生成することを目標とした。画像と言語を結べ居着けるモデルであるＣＬＩＰを使用し、それに導かせることによって合成された画像をより写真に近づけることにより、実際の画像中の物体を計数できるモデルを訓練し、その有効性を確かめた。この成果についてまとめた論文は国際会議に投稿した。また、画像の美的評価のタスクにおいても、ＣＬＩＰを使用することを検討中であるが、それ以外に、イラストレーションの美的評価のためのデータセットをウェブサイトの評価データから作成し、その手法についてまとめた論文を国際会議に投稿した。

現在までの達成度 (区分)

2: おおむね順調に進展している

理由

計画通り本年度はこれまでの視点に加え特にチャンネル方向次元について考察し、全体としてデータ空間構造とネットワーク構造との関係、汎化性能の説明の謎に迫るため、開発した領域分割モジュール手法を利用することで既存のタスクでのCNNの性能改善ができるかどうかを検証した。その学習の不安定さから、大きな性能改善には繋がらないことを確認した。また、領域分割の認識能力が出力の見た目を左右する動画像処理タスクにおいて、拡散生成モデルを使用し動画生成・補間の性能を向上させる手法の研究に取り組んだ。

今後の研究の推進方策

計画通り推進していく。

研究成果

• [雑誌論文] Differentiable rendering-based pose-conditioned human image generation (2021)
  • 著者名/発表者名: Yusuke Horiuchi, Edgar Simo-Serra, Satoshi Iizuka, Hiroshi Ishikawa
  • 雑誌名: Proceedings - 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2021 巻: 1 ページ: 3916-3920
  • DOI: 10.1109/cvprw53098.2021.00437
  • 査読あり
• [雑誌論文] P2Net: A Post-Processing Network for Refining Semantic Segmentation of LiDAR Point Cloud based on Consistency of Consecutive Frames (2020)
  • 著者名/発表者名: Yutaka Momma, Weimin Wang, Edgar Simo-Serra, Satoshi Iizuka, Ryosuke Nakamura, and Hiroshi Ishikawa
  • 雑誌名: Proc. IEEE International Conference on Systems, Man, and Cybernetics (SMC) 巻: 1 ページ: 4110-4115
  • DOI: 10.1109/smc42975.2020.9283329
  • 査読あり