• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実施状況報告書

タスク指向画像処理のための深層学習と,遠方歩行者認識への応用

研究課題

研究課題/領域番号 19K12129
研究機関豊田工業大学

研究代表者

浮田 宗伯  豊田工業大学, 工学(系)研究科(研究院), 教授 (20343270)

研究分担者 Muhammad Haris  豊田工業大学, 工学(系)研究科(研究院), ポストドクトラル研究員 (60816643) [辞退]
研究期間 (年度) 2019-04-01 – 2022-03-31
キーワード超解像 / 物体検出 / 動画超解像
研究実績の概要

・静止画像の超解像:申請書では,縦横8倍(面積比で64倍)の超解像を目標にしていた.しかし,近年の深層学習による超解像技術の急激な進化に合わせ,当初の目標を上回る縦横16倍(面積比で256倍)の超解像を実現した.その成果は,ヒトの目で見ても何が写っているのかが理解できないような微小な画像から,ヒトの目で見るとまるで尤もらしいような画像復元(例:数画素程度の面積の低解像画像から,人の顔などが尤もらしく復元できるような超解像)となっている.このように人の知覚をだますことができるような超高倍率の超解像は,敵対的学習の活用によって実現した.
・動画の時空間超解像:2019年度の成果である動画超解像を拡張し,空間解像度だけでなく,時間分解能までも同時に増やす「時空間超解像」を実現した.この時空間超解像では,空間超解像によって時間超解像の性能を向上させ,逆に時間超解像によって空間超解像の性能も向上させている.更に,時空間超解像で最適化された深層学習モデルを初期値として,それを空間超解像のみ,または時間超解像のみのファインチューンすることによって,それぞれの精度を更に向上させることができることも確認した.
・微小物体検出:微小物体検出の精度向上のため,2種類の手法を提案し,その性能を実験的に確認した.(1)階層的に学習されたマルチスケール特徴量を活用することで,微小物体検出の精度を向上させることに成功した.(2)異なるスケールの深層特徴量間のドメイン差を敵対的学習によって吸収することで,異なるスケールの特徴を統合して物体検出に利用できるようになった.これによってより多様な見えの特徴を利用した物体検出が可能となった.今後の研究で,この統合特徴量を利用した微小物体検出の性能を目指す.

現在までの達成度 (区分)
現在までの達成度 (区分)

1: 当初の計画以上に進展している

理由

・静止画像の超解像:申請書では,縦横8倍(面積比で64倍)の超解像を目標にしていた.しかし,近年の深層学習による超解像技術の急激な進化に合わせ,当初の目標を上回る縦横16倍(面積比で256倍)の超解像を実現している.このことから,当初の計画以上に研究進捗しているといえる.
・動画の超解像:2019年度の動画超解像からさらに発展させ,今年度は動画の時空間超解像を実現した.このような動画超解像は,研究計画で代表的な応用例として挙げた「車載カメラにおける遠方物体検出」のように動画が撮影できる応用において有用な技術である.当初の計画では,静止画超解像のみを目標としていたため,研究対象を動画にまで拡張できていることから,当初の計画を大きく超えた研究進捗が得られているといえる.
・微小物体検出:当初の計画では,車載カメラの撮影画像を対象にしていた.今年度は応用研究として,ドローン搭載カメラにおける撮影映像における微小物体検出も実現した.これは,ドローンの安全な飛行のために攻撃的な鳥を遠方から発見することを目的としており,実応用を見据えた応用研究である.このように,当初の計画以上の幅広い分野への研究発展まで模索を始めているということができる.

今後の研究の推進方策

・超解像:当初の計画では,「従来は人の知覚の質向上のために研究されてきた超解像」を「機械の知覚のための超解像」に発展させることを目的にしていた.一方で,機械の知覚を研究する中で,ヒトの知覚的な質を向上させるための新しいアイディアも見つかってきた.今後は,そのような研究方向性も検討する.
・微小物体検出:当初の研究計画では微小物体検出のみを目的としていた.しかし,研究を進める中で,微小物体に限定されず,多様なスケールで写っている物体を統一・均一的に検出することこそが難しい問題であるという本質論が見えてきた.この科研費研究後の研究発展も見据え,このような新テーマの検討も始める.

次年度使用額が生じた理由

少額なので,来年度合算使用することで,より効果的な予算執行を行うため.

  • 研究成果

    (13件)

すべて 2021 2020 その他

すべて 国際共同研究 (1件) 雑誌論文 (1件) (うち国際共著 1件、 査読あり 1件、 オープンアクセス 1件) 学会発表 (7件) (うち国際学会 5件、 招待講演 2件) 備考 (4件)

  • [国際共同研究] 豊田工業大学シカゴ校(米国)

    • 国名
      米国
    • 外国機関名
      豊田工業大学シカゴ校
  • [雑誌論文] Deep Back-Projection Networks For Single Image Super-Resolution2021

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 雑誌名

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      巻: 43 ページ: 4323-4337

    • DOI

      10.1109/TPAMI.2020.3002836

    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] AIを用いた超解像2021

    • 著者名/発表者名
      浮田宗伯
    • 学会等名
      日本学術振興会 167委員会 ナノプローブテクノロジー研究会
    • 招待講演
  • [学会発表] Space-Time-Aware Multi-Resolution Video Enhancement2020

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 国際学会
  • [学会発表] Region-dependent Scale Proposals for Super-Resolution in Object Detection2020

    • 著者名/発表者名
      Kazutoshi Akita, Muhammad Haris, and Norimichi Ukita
    • 学会等名
      The Fourth IEEE International Conference on Image Processing, Applications and Systems
    • 国際学会
  • [学会発表] AIM 2020 Challenge on Video Temporal Super-Resolution2020

    • 著者名/発表者名
      Sanghyun Son, et al.
    • 学会等名
      Advances in Image Manipulation workshop and challenges on image and video manipulation Workshop
    • 国際学会
  • [学会発表] AIM 2020 Challenge on Video Extreme Super-Resolution: Methods and Results2020

    • 著者名/発表者名
      Dario Fuoli, et al.
    • 学会等名
      Advances in Image Manipulation workshop and challenges on image and video manipulation Workshop
    • 国際学会
  • [学会発表] NTIRE 2020 Challenge on Perceptual Extreme Super-Resolution: Methods and Results2020

    • 著者名/発表者名
      Kai Zhang, et al.
    • 学会等名
      New Trends in Image Restoration and Enhancement Workshop
    • 国際学会
  • [学会発表] 機械学習を用いた低解像度画像データの高解像化と電子顕微鏡画像などへの応用2020

    • 著者名/発表者名
      浮田宗伯
    • 学会等名
      応用物理学会・東海支部 基礎セミナー「AIを用いた画像処理・認識技術の進展」
    • 招待講演
  • [備考] 静止画超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/PAMI2020.sisr.html

  • [備考] 動画超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/CVPR2019.vsr.html

  • [備考] 動画時空間超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/CVPR2020.stsr.html

  • [備考] 超解像オンラインデモ

    • URL

      https://133.21.219.252/

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi