• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 課題ページに戻る

2020 年度 実績報告書

クラウド上の膨大な画像履歴情報を多様な時空間スケールで活用する超低品質画像の認識

研究課題

研究課題/領域番号 17H00745
研究機関名古屋大学

研究代表者

村瀬 洋  名古屋大学, 情報学研究科, 教授 (90362293)

研究分担者 出口 大輔  名古屋大学, 情報学研究科, 准教授 (20437081)
川西 康友  名古屋大学, 情報学研究科, 講師 (50755147)
井手 一郎  名古屋大学, 数理・データ科学教育研究センター, 教授 (10332157)
平山 高嗣  名古屋大学, 未来社会創造機構, 特任准教授 (10423021)
目加田 慶人  中京大学, 工学部, 教授 (00282377)
研究期間 (年度) 2017-04-01 – 2022-03-31
キーワード画像処理 / 機械学習 / 低品質画像 / 車載カメラ
研究実績の概要

本研究の目的は、車載カメラ画像、監視カメラ画像などに見られる超低品質な画像を認識し、ユーザーに結果を適切に情報提示する手法を実現することにある。そこでは「超低品質な画像」の認識が必要となっている。特に、本研究では、機械学習に加えて、「クラウド上の膨大な画像履歴情報を多様な時空間スケールで活用」するアプローチで、超低品質な画像の認識を実現することにある。
本年度は、以下の成果が得られた。(1) 監視カメラ型センサーからの画像認識においては、超低解像度赤外線センサーアレイからの骨格姿勢推定法を提案した。本赤外線センサーは、プライバシーの点で有利であり、暗闇でも利用できる点で近年着目されているが、例えば16画素×16画素など超低解像度画像のために精度よく姿勢を検出することが困難であった。本研究では、高解像画像からの姿勢推定結果を学習時に用いることや、ネットワークを工夫することにより超低解像度画像からの骨格姿勢推定精度を向上させる手法を実現した。(2) 視覚的注意の研究においては、自動車やパーソナルモビリティを運転する際に、運転者が熟練するにしたがって視覚的注意をする場所がどのように変化するかを明らかにした。更に、歩行者とのすれ違いをする際に、歩行者の属性がすれ違い行動にどのように影響するかを明らかにした。例えば、歩きスマホをする歩行者の横をすれ違う際には、熟練運転者は十分なマージンを取ることがわかった。(3) 時空間統合型の画像認識の研究では、動きからの3次元復元手法と、セマンティックセグメンテーションを組み合わせることにより、両方の手法の認識精度を向上する手法を提案した。列車に搭載した車載カメラで撮影した実際の鉄道環境での評価実験により、手法の有効性を示した。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

低品質な画像を精度よく認識するための手法を目指し、研究を進めている。令和2年度当初の計画通りに、以下の点を達成した。
(1)監視カメラを用いた人物認識においては、赤外線センサーアレイからの超低解像度画像からの骨格姿勢推定を、複数の動作モードに対応できるネットワークを構成することにより実現した。実験により、その有効性を示した。本研究計画はおおむね予定通りの成果を得ることができた。
(2)視覚的注意の研究では、パーソナルモビリティと歩行者とがすれ違いをする際に、パーソナルモビリティの運転が歩行者の属性がすれ違い行動にどのように影響するかを、被験者実験により明らかにした。例えば、歩きスマホをする歩行者の横をすれ違う際には、他の属性の歩行者に比較して十分なマージンを取ることがわかった。コロナ渦のために、被験者を使った実験の頻度は低下したものの、当初の目的はほぼ達成した。
(3) 時空間統合型の画像認識の研究では、動画像からの3次元復元手法と、セマンティックセグメンテーションを相互に統合する手法を提案し、列車に搭載した車載カメラで撮影した実際の鉄道環境での評価実験により、手法の有効性を示した。ほぼ計画通りの進展を得ることができた。以上の3つの研究計画のそれぞれにおいて、おおむね予定通りに進展している。但し、コロナ渦のせいでほとんどの国際会議がオンライン開催になり、対面で研究成果を宣伝することができなかった点は残念である。また、一部の研究で、論文化がやや遅れているので、この点は今後加速したい。

今後の研究の推進方策

低品質な画像を認識する手法を体系的に開発するために、以下の方針で研究を推進する。
(1) 車載カメラを用いた周囲環境認識では、歩行者がこちらに気付いているかどうかを、視線情報だけでなく、顔の向き、姿勢形状を用いて認識する手法を開発する。更にその手法を発展させ、姿勢や顔の動き情報や、背景知識を利用することにより、解像度が十分に取れない遠方の歩行者であっても気付きを認識できる手法を開発する。
(2) 視覚的注意の研究では、イベント会場などで観客がステージ上のどの人物にどの程度着目しているかを推定する手法を開発する。ステージ上などのカメラから観客を撮影すると、すべての観客の顔向きや眼球を精度よく推定することは困難であるが、多数の人の情報を統合することで、推定制度を向上させる手法を提案する予定である。
(3) 時空間を統合した画像認識の研究では、環境変動に頑健な自動車の位置推定手法を提案する。画像の特徴点照合による位置推定の場合、照明などの環境変動を受けやすいという問題がある。そこで、同じ場所を異なる時間に撮影した多数の画像を用いて、環境変動に影響を与えにくい特徴を選択し、その特徴に重みをつけて位置を推定する手法を提案する。
今後は、これら3つの観点から研究を発展させる予定である。

  • 研究成果

    (16件)

すべて 2021 2020

すべて 雑誌論文 (4件) (うち査読あり 4件) 学会発表 (12件) (うち国際学会 5件、 招待講演 1件)

  • [雑誌論文] 光線方向の違いを考慮したライトフィールド特徴量の提案 ~物体形状とカメラ姿勢に頑健な画像対応付け~2021

    • 著者名/発表者名
      清水 政行, 川西 康友, 出口 大輔, 井手 一郎, 村瀬 洋
    • 雑誌名

      精密工学会誌

      巻: 87(2) ページ: 197-205

    • DOI

      10.2493/jjspe.87.197

    • 査読あり
  • [雑誌論文] ColAtt-Net: In Reducing the Ambiguity of Pedestrian Orientations on Attribute-Aware Semantic Segmentation Task2021

    • 著者名/発表者名
      Mahmud Dwi Sulistiyo, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Takatsugu Hirayama, Hiroshi Murase
    • 雑誌名

      IEEJ Transactions on Electrical and Electronic Engineering

      巻: 16(2) ページ: 295-306

    • DOI

      10.1002/tee.23296

    • 査読あり
  • [雑誌論文] 超低解像度FIR画像系列中での人物位置と行動の違いに着目した骨格推定法2021

    • 著者名/発表者名
      岩田 紗希, 川西 康友, 出口 大輔, 井手 一郎, 村瀬 洋, 相澤 知禎
    • 雑誌名

      精密工学会誌

      巻: 87(1) ページ: 99-106

    • DOI

      10.2493/jjspe.87.99

    • 査読あり
  • [雑誌論文] Simultaneous Image Matching for Person Re-identification via the Stable Marriage Algorithm2020

    • 著者名/発表者名
      Nik Mohd Zarifie Hashim, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase
    • 雑誌名

      IEEJ Transactions ON Electrical AND Electronic Engineering

      巻: 15(6) ページ: 909-917

    • DOI

      10.1002/tee.23133

    • 査読あり
  • [学会発表] LFIR2Pose: Pose Estimation from an Extremely Low-Resolution FIR Image Sequence2021

    • 著者名/発表者名
      Saki Iwata, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Hiroshi Murase, Tomoyoshi Aizawa
    • 学会等名
      International Conference on Pattern Recognition
    • 国際学会
  • [学会発表] Median-Shape Representation Learning for Category-Level Object Pose Estimation in Cluttered Environments2021

    • 著者名/発表者名
      Hiroki Tatemichi, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Ayako Amma, Hiroshi Murase
    • 学会等名
      International Conference on Pattern Recognition
    • 国際学会
  • [学会発表] 歩行者を含む実写映像からの4Dシーンモデリングの初期検討2021

    • 著者名/発表者名
      田中 来樹, 川西 康友, 出口 大輔, 村瀬 洋
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] 歩き方の特徴に着目した所持物・重さ認識の初期検討2021

    • 著者名/発表者名
      水野 雅也, 川西 康友, 出口 大輔, 村瀬 洋, 井下哲夫
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] 車載カメラを用いた遠方歩行者からのアイコンタクトの検出に関する初期検討2021

    • 著者名/発表者名
      畑 隆聖, 出口 大輔, 平山 高嗣, 川西 康友, 村瀬 洋
    • 学会等名
      電子情報通信学会総合大会
  • [学会発表] Modeling Eye-Gaze Behavior of Electric Wheelchair Drivers via Inverse Reinforcement Learning2020

    • 著者名/発表者名
      Yamato Maekawa, Naoki Akai, Takatsugu Hirayama, Luis Yoichi Morales, Daisuke Deguchi, Yasutomo Kawanishi, Ichiro Ide, Hiroshi Murase
    • 学会等名
      IEEE International Conference on Intelligent Transportation Systems
    • 国際学会
  • [学会発表] Image Recognition for Driving Assistance of Intelligent Vehicles2020

    • 著者名/発表者名
      Hiroshi Murase
    • 学会等名
      Image Recognition for Driving Assistance of Intelligent Vehicles," International Conference on Information and Communication Technology
    • 国際学会 / 招待講演
  • [学会発表] Performance Boost of Attribute-aware Semantic Segmentation via Data Augmentation for Driver Assistance2020

    • 著者名/発表者名
      Mahmud Dwi Sulistiyo, Yasutomo Kawanishi, Daisuke Deguchi, Ichiro Ide, Takatsugu Hirayama, Hiroshi Murase
    • 学会等名
      IEEE International Conference on Information and Communication Technology
    • 国際学会
  • [学会発表] ソフト順序制約付きラベル境界緩和法に基づく 列車前方映像のセマンティックセグメンテーション2020

    • 著者名/発表者名
      振津 勇紀, 出口 大輔, 川西 康友, 井手 一郎, 村瀬 洋
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2020)
  • [学会発表] 移動する複数物体への群衆からの4次元注目度ヒートマップ生成の初期検討2020

    • 著者名/発表者名
      武田 一馬, 川西 康友, 平山 高嗣, 出口 大輔, 井手 一郎, 村瀬 洋, 永野 秀尚, 柏野 邦夫
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2020)
  • [学会発表] 複数画像系列の重み付き統合による自車位置推定2020

    • 著者名/発表者名
      後藤 優太, 久徳 遙矢, 出口 大輔, 川西 康友, 井手 一郎, 村瀬 洋
    • 学会等名
      画像の認識・理解シンポジウム(MIRU2020)
  • [学会発表] 物体追跡を活用したCenterNetの弱教師あり学習2020

    • 著者名/発表者名
      森 太郎, 出口 大輔, 川西 康友, 井手 一郎, 村瀬 洋
    • 学会等名
      認識・理解シンポジウム(MIRU2020)

URL: 

公開日: 2021-12-27  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi