• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

無人航空機による地上物体認識のための視聴覚統合

研究課題

研究課題/領域番号 17K00365
研究種目

基盤研究(C)

配分区分基金
応募区分一般
研究分野 知能ロボティクス
研究機関熊本大学

研究代表者

公文 誠  熊本大学, 大学院先端科学研究部(工), 准教授 (70332864)

研究分担者 中臺 一博  東京工業大学, 工学院, 特任教授 (70436715)
研究期間 (年度) 2017-04-01 – 2020-03-31
研究課題ステータス 完了 (2019年度)
配分額 *注記
4,550千円 (直接経費: 3,500千円、間接経費: 1,050千円)
2019年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2018年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
2017年度: 1,820千円 (直接経費: 1,400千円、間接経費: 420千円)
キーワードロボット聴覚 / 視聴覚統合 / センサフュージョン / ドローン聴覚 / 音源定位 / マルチロータヘリコプタ / 知能ロボティックス
研究成果の概要

本課題ではドローンから地上音源を検知する上で、ドローン自身の発する騒音が大きく、また対象音源が遠くにあって、マイクロホンからの信号だけで音源を正確に認識することは難しいことを想定し、カメラとマイクロホンアレイを搭載した無人航空機で安定かつ高精度に対象を認識する技術を目的とした。
間欠的な音情報と連続的だが音源の外見について不確かな動画情報を相補的に統合し、音源の三次元位置推定、複数移動音源の識別・追跡などを実現した。

研究成果の学術的意義や社会的意義

本来音によって特徴づけられる音源について、一定の条件の下で画像という異なるセンサ情報(外見の分からない音源)を通じて認識する出来るようになったことを通じ、様々なセンサ情報を自律的に統合する方向へと展開が可能で意義があると考えている。異常検知や、防犯等、社会一般で必要とされる技術としても利用可能である。

報告書

(4件)
  • 2019 実績報告書   研究成果報告書 ( PDF )
  • 2018 実施状況報告書
  • 2017 実施状況報告書
  • 研究成果

    (40件)

すべて 2020 2019 2018 2017 その他

すべて 国際共同研究 (3件) 雑誌論文 (11件) (うち国際共著 1件、 査読あり 9件、 オープンアクセス 3件) 学会発表 (26件) (うち国際学会 4件、 招待講演 3件)

  • [国際共同研究] バージニア工科大学/バージニア大学(米国)

    • 関連する報告書
      2019 実績報告書
  • [国際共同研究] バージニア工科大学(米国)

    • 関連する報告書
      2018 実施状況報告書
  • [国際共同研究] バージニア工科大学(米国)

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] Multiple Sound Source Position Estimation by Drone Audition Based on Data Association Between Sound Source Localization and Identification2020

    • 著者名/発表者名
      Mizuho Wakabayashi, Hiroshi G. Okuno , Makoto Kumon
    • 雑誌名

      IEEE Robotics and Automation Letters

      巻: 5 号: 2 ページ: 782-789

    • DOI

      10.1109/lra.2020.2965417

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] Design and Implementation of Real-Time Visualization of Sound Source Positions by Drone Audition2020

    • 著者名/発表者名
      Mizuho Wakabayashi, Kai Washizaka, Kotaro Hoshiba, Kazuhiro Nakadai, Hiroshi G. Okuno, Makoto Kumon
    • 雑誌名

      Proceedings of Int. Symposium on System Integration (SII2020)

      巻: 1 ページ: 814-819

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Sound Source Tracking by Incorporating Target Motion Estimated by Visual Trackers2020

    • 著者名/発表者名
      Yuto Kokusho, Makoto Kumon
    • 雑誌名

      Proceedings of Int. Symposium on System Integration (SII2020)

      巻: 1 ページ: 652-657

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Sound Source Tracking by Drones with Microphone Arrays2020

    • 著者名/発表者名
      Yamada Taiki、Itoyama Katsutoshi、Nishida Kenji、Nakadai Kazuhiro
    • 雑誌名

      2020 IEEE/SICE International Symposium on System Integration (SII2020)

      巻: 1 ページ: 796-801

    • DOI

      10.1109/sii46433.2020.9026185

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Belief-Driven Control Policy of a Drone with Microphones for Multiple Sound Source Search2019

    • 著者名/発表者名
      Kenshiro Yamada, Makoto Kumon, Tomonari Furukawa
    • 雑誌名

      Proceedings of 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2019)

      巻: - ページ: 5326-5332

    • DOI

      10.1109/iros40897.2019.8968119

    • 関連する報告書
      2019 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Environmental sound segmentation utilizing Mask U-Net2019

    • 著者名/発表者名
      Sudo Yui、Itoyama Katsutoshi、Nishida Kenji、Nakadai Kazuhiro
    • 雑誌名

      2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019)

      巻: 1 ページ: 5340-5345

    • DOI

      10.1109/iros40897.2019.8967954

    • 関連する報告書
      2019 実績報告書
    • 査読あり
  • [雑誌論文] Recent R&D Technologies and Future Prospective of Flying Robot in Tough Robotics Challenge2019

    • 著者名/発表者名
      Kenzo Nonami, Kotaro Hoshiba, Kazuhiro Nakadai, Makoto Kumon, Hiroshi G Okuno, Yasutada Tanabe, Koichi Yonezawa, Hiroshi Tokutake, Satoshi Suzuki, Kohei Yamaguchi, Shigeru Sunada, Toshiyuki Nakata, Ryusuke Noda, Hao Liu
    • 雑誌名

      Disaster Robotics, Springer

      巻: 128 ページ: 77-142

    • DOI

      10.1007/978-3-030-05321-5_3

    • ISBN
      9783030053208, 9783030053215
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] 音響信号処理の変遷と最先端2018

    • 著者名/発表者名
      中臺 一博
    • 雑誌名

      日本音響学会誌

      巻: 74 号: 7 ページ: 394-400

    • DOI

      10.20697/jasj.74.7_394

    • NAID

      130007541848

    • ISSN
      0369-4232, 2432-2040
    • 年月日
      2018-07-01
    • 関連する報告書
      2018 実施状況報告書
    • 査読あり
  • [雑誌論文] マイクロホンアレイを用いた音源定位・分離ソフトウェア入門2018

    • 著者名/発表者名
      中臺 一博
    • 雑誌名

      システム/制御/情報

      巻: 62-2 ページ: 42-49

    • NAID

      130007433961

    • 関連する報告書
      2017 実施状況報告書
  • [雑誌論文] Design of UAV-Embedded Microphone Array System for Sound Source Localization in Outdoor Environments2017

    • 著者名/発表者名
      Hoshiba Kotaro、Washizaki Kai、Wakabayashi Mizuho、Ishiki Takahiro、Kumon Makoto、Bando Yoshiaki、Gabriel Daniel、Nakadai Kazuhiro、Okuno Hiroshi
    • 雑誌名

      Sensors

      巻: 17 号: 11 ページ: 2535-2535

    • DOI

      10.3390/s17112535

    • NAID

      120006501320

    • 関連する報告書
      2017 実施状況報告書
    • 査読あり / オープンアクセス
  • [雑誌論文] オープンソースコミュニティーに貢献するということ2017

    • 著者名/発表者名
      中臺 一博
    • 雑誌名

      映像情報メディア学会誌

      巻: 71-5 ページ: 647-653

    • NAID

      130007699413

    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ロボット聴覚からのクロスモーダルへの期待2020

    • 著者名/発表者名
      中臺 一博
    • 学会等名
      第220回コンピュータビジョンとイメージメディア研究発表会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] 複数マイクロホンアレイを用いた尤度分布統合による移動音源追跡2020

    • 著者名/発表者名
      山田 泰基, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      情報処理学会第82回全国大会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Robot Audition and Drone Audition2019

    • 著者名/発表者名
      Kazuhiro NAKADAI, Hiroshi G. OKUNO
    • 学会等名
      ICRA 2019 Workshop on Sound Source Localization and Its Applications for Robots
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] ound Source Tracking Using Multiple Microphone Arrays Mounted to an Unmanned Aerial Vehicle2019

    • 著者名/発表者名
      Taiki YAMADA, Katsutoshi ITOYAMA, Kenji NISHIDA, Kazuhiro NAKADAI
    • 学会等名
      ICRA 2019 Workshop on Sound Source Localization and Its Applications for Robots
    • 関連する報告書
      2019 実績報告書
    • 国際学会
  • [学会発表] 視聴覚統合による動的環境下における三次元再構成の提案2019

    • 著者名/発表者名
      紺野 隆志, 西田 健次, 糸山 克寿, 中臺 一博
    • 学会等名
      第55回人工知能学会 AIチャレンジ研究会
    • 関連する報告書
      2019 実績報告書
  • [学会発表] Close Sound Source Localization Inroporating Semi-Supervised Variational Bayesian NMF2019

    • 著者名/発表者名
      Makoto Kumon, Kai Washizaki, Kazuhiro Nakadai
    • 学会等名
      Int. Symposium on System Integration (SII2019)
    • 関連する報告書
      2018 実施状況報告書
    • 国際学会
  • [学会発表] 複数のマイクロホンアレイを搭載した複数のUAVによる移動音源の三次元追跡2019

    • 著者名/発表者名
      山田 泰基, Daniel Gabriel, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      情報処理学会第81回全国大会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 屋外での移動音源追跡における動画像と音信号の統合の検討2018

    • 著者名/発表者名
      國生悠斗, 公文誠
    • 学会等名
      第36回日本ロボット学会学術講演会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 繰り返しベイズ推定を用いた視聴覚統合による話者位置推定2018

    • 著者名/発表者名
      公文誠,鷲﨑海,Tomonari Furukawa
    • 学会等名
      計測自動制御学会システムインテグレーション部門講演会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] 複数の移動マイクロホンアレイによる移動音源の3次元定位2018

    • 著者名/発表者名
      山田 泰基, ガブリエル ダニエル, 糸山 克寿, 西田 健次, 中臺 一博
    • 学会等名
      計測自動制御学会システムインテグレーション部門講演会
    • 関連する報告書
      2018 実施状況報告書
  • [学会発表] ロボット聴覚研究とその展開 - 災害時の迅速な要救助者発見 に向けたドローン聴覚技術開発に至るまで2018

    • 著者名/発表者名
      中臺一博
    • 学会等名
      蔵前技術士会
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] ドローン聴覚~災害地での迅速な要救助者の捜索を目指して~2018

    • 著者名/発表者名
      中臺一博
    • 学会等名
      ImPACTシンポジウム
    • 関連する報告書
      2018 実施状況報告書
    • 招待講演
  • [学会発表] Quad-directional LSTMを用いた音楽音響信号修復とその評価2018

    • 著者名/発表者名
      谷口 亮輔, 干場 功太郎, 中臺 一博
    • 学会等名
      第80回情報処理学会全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 可聴音を用いた周波数自動選択に基づく距離推定法の検討2018

    • 著者名/発表者名
      高尾 麻衣子, 干場 功太郎, 中臺 一博
    • 学会等名
      第80回情報処理学会全国大会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Evaluation of 2D bird localization algorithm using microphone arrays2018

    • 著者名/発表者名
      Daniel Gabriel, Ryosuke Kojima, Kotaro Hoshiba, Kazuhiro Nakadai
    • 学会等名
      The 80th National Convention of IPSJ
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] アクティブ周波数レンジフィルタを用いた雑音にロバストな音源定位手法の提案2017

    • 著者名/発表者名
      干場功太郎, 中臺一博, 公文誠, 奥乃博
    • 学会等名
      人工知能学会 第49回AIチャレンジ研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] マイクロホンアレイを有するマルチロータヘリコプタを用いた地上の複数音源の 位置推定について2017

    • 著者名/発表者名
      若林瑞保, 公文誠
    • 学会等名
      人工知能学会 第49回AIチャレンジ研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] UAV搭載マイクロホンアレイを用いた組み込みシステムによる音源探査性能の評価2017

    • 著者名/発表者名
      干場功太郎,中臺一博,公文誠,奥乃博
    • 学会等名
      第35回日本ロボット学会学術講演会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] マルチロータヘリコプタ収録音の音源分離におけるシステムパラメータと分離性能について-GHDSSとBNP-MAPの比較2017

    • 著者名/発表者名
      鷲崎海, 公文誠, 大塚琢馬, 奥乃博, 干場功太郎, 中臺一博
    • 学会等名
      第35回日本ロボット学会学術講演会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Grid based Recursive Bayes Filterに基づくマルチロータヘリコプタによる音源探査における地図管理2017

    • 著者名/発表者名
      山田健志郎, 公文誠
    • 学会等名
      第35回日本ロボット学会学術講演会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Development of Microphone-Array-Embedded UAV for Search and Rescue Task2017

    • 著者名/発表者名
      Kazuhiro Nakadai, Makoto Kumon, Hiroshi G. Okuno, Kotaro Hoshiba, Mizuho Wakabayashi, Kai Washizaki, Takahiro Ishiki, Daniel Gabriel, Yoshiaki Bando, Takayuki Morito, Ryosuke Kojima, Osamu Sugiyama
    • 学会等名
      International Conference on Intelligent Robots and Systems
    • 関連する報告書
      2017 実施状況報告書
    • 国際学会
  • [学会発表] Bi-directional LSTM を用いた音楽音響信号修復法の提案2017

    • 著者名/発表者名
      谷口 亮輔, 干場 功太郎, 中臺 一博
    • 学会等名
      第35回日本ロボット学会学術講演会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 可聴音を用いた周波数選択に基づく距離推定法の検討2017

    • 著者名/発表者名
      高尾 麻衣子, 干場 功太郎, 中臺 一博
    • 学会等名
      第35回日本ロボット学会学術講演会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] Quad-directional LSTMを用いた音楽音響信号修復法の提案2017

    • 著者名/発表者名
      谷口 亮輔, 干場 功太郎, 中臺 一博
    • 学会等名
      人工知能学会 第49回AIチャレンジ研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] 可聴音を用いた周波数選択に基づく距離推定法の実環境利用に向けた評価2017

    • 著者名/発表者名
      高尾 麻衣子, 干場 功太郎, 中臺 一博
    • 学会等名
      人工知能学会 第49回AIチャレンジ研究会
    • 関連する報告書
      2017 実施状況報告書
  • [学会発表] ロボット聴覚オープンソースソフトウェアHARK の技術紹介とその展開2017

    • 著者名/発表者名
      中臺 一博
    • 学会等名
      自動車技術会 エレクトロニクス部門
    • 関連する報告書
      2017 実施状況報告書
    • 招待講演

URL: 

公開日: 2017-04-28   更新日: 2022-02-21  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi