• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

タスク指向画像処理のための深層学習と,遠方歩行者認識への応用

研究課題

研究課題/領域番号 19K12129
研究種目

基盤研究(C)

配分区分基金
応募区分一般
審査区分 小区分61030:知能情報学関連
研究機関豊田工業大学

研究代表者

浮田 宗伯  豊田工業大学, 工学(系)研究科(研究院), 教授 (20343270)

研究分担者 Muhammad Haris  豊田工業大学, 工学(系)研究科(研究院), ポストドクトラル研究員 (60816643)
研究期間 (年度) 2019-04-01 – 2022-03-31
研究課題ステータス 完了 (2021年度)
配分額 *注記
4,290千円 (直接経費: 3,300千円、間接経費: 990千円)
2021年度: 1,170千円 (直接経費: 900千円、間接経費: 270千円)
2020年度: 1,690千円 (直接経費: 1,300千円、間接経費: 390千円)
2019年度: 1,430千円 (直接経費: 1,100千円、間接経費: 330千円)
キーワード画像超解像 / 物体検出 / 画像処理 / 超解像 / 動画超解像 / 車載カメラ
研究開始時の研究の概要

深層学習により性能向上した画像処理において,人が画像を見た際の印象向上ではなく,画像処理の「人工知能が画像を認識するための手段」という側面に着目し,画像処理と画像認識が相互に性能向上する統合最適化を研究する.この統合最適化のため「印象向上を目的とした人の主観やピーク信号対雑音比(PSNR)のような画質基準」に加え「画像認識の性能」も評価するタスク指向画像処理のためのend-to-end深層学習を提案する.タスク指向画像処理の汎用性を検証するため,車載カメラ映像中に極めて小さく映る遠方歩行者像の行動認識という困難なタスクを,映像を拡大する超解像画像処理を介して実現する.

研究成果の概要

タスク指向画像処理の実例として,「遠方歩行者検出(微小物体検出)」をタスクとして,このタスク性能を向上させるための前処理として「画像超解像」に焦点を当てて研究を進めた.これら画像超解像と微小物体検出を独立に解くのではなく,1つの深層学習ネットワークで統合的に学習し,微小物体検出というタスクの性能が向上するという目的関数を新たに提案することで,人が画像を見た際の奇麗さを追求した画像超解像ではなく,機械(人工知能)が画像の意味を理解するための画像超解像(画像処理)を実現した.

研究成果の学術的意義や社会的意義

タスク指向超解像のための基礎技術として,汎用的な画像超解像を研究し,世界的な協議会でも上位入賞する性能を実現した.画像超解像は,人が鑑賞する画像を生成するという従来型のタスクにおいても,記録媒体に保存する画像ファイル容量の圧縮や,Youtubeや遠隔会議における映像配信など,多様な応用において実用的な技術である.
また,本研究で実現した微小物体検出は,車載画像における遠方物体検出などセキュリティや安全を目的にした多様な分野に波及する技術である.

報告書

(4件)
  • 2021 実績報告書   研究成果報告書 ( PDF )
  • 2020 実施状況報告書
  • 2019 実施状況報告書
  • 研究成果

    (29件)

すべて 2021 2020 2019 その他

すべて 国際共同研究 (4件) 雑誌論文 (2件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (17件) (うち国際学会 13件、 招待講演 7件) 備考 (6件)

  • [国際共同研究] TTI-C(米国)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] Bukalapak(インドネシア)

    • 関連する報告書
      2021 実績報告書
  • [国際共同研究] 豊田工業大学シカゴ校(米国)

    • 関連する報告書
      2020 実施状況報告書
  • [国際共同研究] TTI-Chicago(米国)

    • 関連する報告書
      2019 実施状況報告書
  • [雑誌論文] Multi-modal Data Fusion for Land-subsidence Image Improvement in PSInSAR Analysis2021

    • 著者名/発表者名
      Kodai Shimosato and Norimichi Ukita
    • 雑誌名

      IEEE Access

      巻: 9 ページ: 141970-141980

    • DOI

      10.1109/access.2021.3120133

    • 関連する報告書
      2021 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Deep Back-Projection Networks For Single Image Super-Resolution2021

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 雑誌名

      IEEE Transactions on Pattern Analysis and Machine Intelligence

      巻: 43 号: 12 ページ: 4323-4337

    • DOI

      10.1109/tpami.2020.3002836

    • 関連する報告書
      2021 実績報告書 2020 実施状況報告書
    • 査読あり / オープンアクセス / 国際共著
  • [学会発表] AVM Image Quality Enhancement by Synthetic Image Learning for Supervised Deblurring2021

    • 著者名/発表者名
      Kazutoshi Akita, Masayoshi Hayama, Haruya Kyutoku, Norimichi Ukita
    • 学会等名
      the 17th International Conference on Machine Vision Applications
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Crack Segmentation for Low-Resolution Images using Joint Learning with Super-Resolution2021

    • 著者名/発表者名
      Yuki Kondo, Norimichi Ukita
    • 学会等名
      the 17th International Conference on Machine Vision Applications
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Distant Bird Detection for Safe Drone Flight and Its Dataset2021

    • 著者名/発表者名
      Sanae Fujii, Kazutoshi Akita, Norimichi Ukita
    • 学会等名
      the 17th International Conference on Machine Vision Applications
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] Neural Image Restoration for Time-lapse SPM Images2021

    • 著者名/発表者名
      Norimichi Ukita, Fuma Yasue, Kota Shinjo, Yuki Kondo, Kazutoshi Akita, Hibiki Mitsuboshi, and Masamichi Yoshimura
    • 学会等名
      29th International Colloquium on Scanning Probe Microscopy
    • 関連する報告書
      2021 実績報告書
    • 国際学会 / 招待講演
  • [学会発表] Task-Driven Super Resolution: Object Detection in Low-resolution Images2021

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 学会等名
      the 28th International Conference on Neural Information Processing
    • 関連する報告書
      2021 実績報告書
    • 国際学会
  • [学会発表] AIを用いた超解像2021

    • 著者名/発表者名
      浮田宗伯
    • 学会等名
      日本学術振興会 167委員会 ナノプローブテクノロジー研究会
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] Space-Time-Aware Multi-Resolution Video Enhancement2020

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] Region-dependent Scale Proposals for Super-Resolution in Object Detection2020

    • 著者名/発表者名
      Kazutoshi Akita, Muhammad Haris, and Norimichi Ukita
    • 学会等名
      The Fourth IEEE International Conference on Image Processing, Applications and Systems
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] AIM 2020 Challenge on Video Temporal Super-Resolution2020

    • 著者名/発表者名
      Sanghyun Son, et al.
    • 学会等名
      Advances in Image Manipulation workshop and challenges on image and video manipulation Workshop
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] AIM 2020 Challenge on Video Extreme Super-Resolution: Methods and Results2020

    • 著者名/発表者名
      Dario Fuoli, et al.
    • 学会等名
      Advances in Image Manipulation workshop and challenges on image and video manipulation Workshop
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] NTIRE 2020 Challenge on Perceptual Extreme Super-Resolution: Methods and Results2020

    • 著者名/発表者名
      Kai Zhang, et al.
    • 学会等名
      New Trends in Image Restoration and Enhancement Workshop
    • 関連する報告書
      2020 実施状況報告書
    • 国際学会
  • [学会発表] 機械学習を用いた低解像度画像データの高解像化と電子顕微鏡画像などへの応用2020

    • 著者名/発表者名
      浮田宗伯
    • 学会等名
      応用物理学会・東海支部 基礎セミナー「AIを用いた画像処理・認識技術の進展」
    • 関連する報告書
      2020 実施状況報告書
    • 招待講演
  • [学会発表] Recurrent Back-Projection Network for Video Super-resolution2019

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 学会等名
      IEEE Conference on Computer Vision and Pattern Recognition
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会
  • [学会発表] Image and Video Super-resolution and their Application to Tiny Object Detection2019

    • 著者名/発表者名
      Norimichi Ukita
    • 学会等名
      3D Computer Vision and Graphics Workshop
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会 / 招待講演
  • [学会発表] 画像の超解像による微小構造解析の可能性2019

    • 著者名/発表者名
      浮田宗伯
    • 学会等名
      格子欠陥フォーラム「格子欠陥とマテリアルインフォマティクス」
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] Recurrent Back-Projection Network for Video Super-resolution2019

    • 著者名/発表者名
      Muhammad Haris, Greg Shakhnarovich, and Norimichi Ukita
    • 学会等名
      画像の認識・理解シンポジウム
    • 関連する報告書
      2019 実施状況報告書
    • 招待講演
  • [学会発表] Image and Video Super-resolution for Learning Visual Representations: Application to Tiny Object Detection2019

    • 著者名/発表者名
      Norimichi Ukita
    • 学会等名
      International Workshop on Symbolic-Neural Learning
    • 関連する報告書
      2019 実施状況報告書
    • 国際学会 / 招待講演
  • [備考] 静止画超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/PAMI2020.sisr.html

    • 関連する報告書
      2020 実施状況報告書
  • [備考] 動画超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/CVPR2019.vsr.html

    • 関連する報告書
      2020 実施状況報告書
  • [備考] 動画時空間超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/CVPR2020.stsr.html

    • 関連する報告書
      2020 実施状況報告書
  • [備考] 超解像オンラインデモ

    • URL

      https://133.21.219.252/

    • 関連する報告書
      2020 実施状況報告書
  • [備考] 静止画超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/CVPR2018.sr.html

    • 関連する報告書
      2019 実施状況報告書
  • [備考] 動画像超解像

    • URL

      https://www.toyota-ti.ac.jp/Lab/Denshi/iim/ukita/selection/CVPR2019.vsr.html

    • 関連する報告書
      2019 実施状況報告書

URL: 

公開日: 2019-04-18   更新日: 2023-01-30  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi