• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2019 Fiscal Year Annual Research Report

Systematization of Drone Audition Capable of Listening to Sounds in Real World Environments

Research Project

Project/Area Number 19H00750
Research InstitutionWaseda University

Principal Investigator

奥乃 博  早稲田大学, 理工学術院, 教授(任期付) (60318201)

Co-Investigator(Kenkyū-buntansha) 公文 誠  熊本大学, 大学院先端科学研究部(工), 准教授 (70332864)
干場 功太郎  神奈川大学, 工学部, 助教 (50782182)
鈴木 太郎  千葉工業大学, 未来ロボット技術研究センター, 主任研究員 (80710368)
劉 浩  千葉大学, 大学院工学研究院, 教授 (40303698)
Project Period (FY) 2019-04-01 – 2022-03-31
Keywordsドローン音響学 / ドローン用マイクロフォンアレイ / 音源定位・分離・音声認識 / 3Dレザー計測 / 鳥の飛翔に倣った静音翼 / ドローン聴覚 / 凧式ドローン / データーフュージョン
Outline of Annual Research Achievements

初年度は『ドローン聴覚の要素技術の開発』に取り組んだ.各WPの実績を次に示す.
【WP1:リアルタイム音響処理】①マイクアレイの内蔵PC用に探査精度もリアルタイム性も高い音源探査手法を基本MUSIC法と四則演算のみを用いて開発.シミュレーションにより探査精度が従来手法GSVD-MUSIC法より向上する条件を解明.②複数音源の識別技術を開発し,複数音源追跡時の課題であるデータアソシエーションの曖昧性に対し,音源情報を用いた解消法(GNN-c)を考案.実験により音源位置推定誤差が3m程度を確認(J論文).複数音源の追跡精度の向上を確認(J論文・国際会議).
【WP2:3Dレーザ計測】③複数のGNSSとLiDARを組合せた三次元計測システムの小型化・高精度化のために,慣性センサとGNSSを複合した三次元計測手法を考案.アンテナ数の削減,アンテナ間距離の縮小に対し,従来と同程度の計測精度が達成を確認(解説,国際会議).【WP3:システム統合】④ドローン聴覚の地上GUI構成法をUIの観点から設計・実装(国際会議).
【WP4:生物模倣による静音化】⑤プロペラ静音化の生物模倣設計での課題,加工の複雑さ・精度・再現性を解決する静音化構造を開発し,商用プロペラを用いて性能評価.低騒音化・飛行効率向上の両立はいまだ難しいが,低騒音化に寄与し,プロペラ表面の加工面において大幅な改善を達成(学会招待講演).
【WP5:凧式ドローンによる滑空による静音化】⑥複数音源存在下での音源位置推定(②)を効率的に行う飛行経路計画法を開発(国際会議発表).⑦ ②のマルチモーダル展開として音源情報と画像情報との統合による音源位置推定を検討(学会発表).⑧提案アルゴリズムのProof of Concept用プラットフォームとして,飛行時のエゴノイズの低減,安定した収音・計測を実現する.牽引型凧式ドローンを開発.

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

【計画より進捗した点】【WP1】複数音源追跡については,複数音源の追跡時の定位情報と既追跡音源とのデータアソシエーションの曖昧性解消法を考案し,さらに,音源位置推定に応用し,その有効性を実機実験で検証を行った.この成果はジャーナル論文2件,国際会議2件が採録された.【WP3】そのドローン音響のユーザインタフェースは,これまで着手してきたImPACTでの経験をもとに,国際会議論文として発表を行った.
【計画通りの進捗点】【WP2】慣性センサを複数組合せ,従来より間隔を狭くした少数のGNSSアンテナで3D計測システムを開発し,従来の高精度を維持したまま小型化を達成.さらに,開発中の牽引型凧式ドローン用の設計が完了.【WP4】「騒音特性と空力性能のトレードオフ」に対して,空力性能をほぼ維持したまま低騒音化に大幅に寄与する静音化構造を開発.さらに,騒音の音響特性が個体ごとに暗転することを発見し,WP1の帯域制限型MUSICによる音源定位処理へのフィードバックを開始.【WP5】凧式ドローンに音響機器と3D計測システムを搭載するために「牽引型」の設計を考案.複数音源位置推定の効率化のためにロータ型ドローンの飛行計画立案法を開発.
【計画より遅れている点】【WP1】令和元年6月13日全面施行となった改正ドローン規制法により,ドローンの飛行実験が可能な場所が限定され,また,改正航空法により操縦士の資格が厳しくなり,飛行実験が難しくなった.本年度は2月に熊本新港の実験場使用権を有するスカイリモート社の協力を得て,WP1+WP3で実験を行うことができた.しかし,個別に行いたい小規模実験の目途がつかず,熊本大学グループを除いては,屋内実験が可能な天井の高い実験設備を探索中である.

Strategy for Future Research Activity

2年目は初年度開発したドローン聴覚の要素技術のシステム統合を中心に進める.WPの具体的な内容は次の通りである.
【WP1:リアルタイム音響処理】①低SN比かつ動的雑音に頑健な高精度に音源探査の開発.②シングルボードPC用に性能を維持した処理の最適化.③収録データの機械学習による音源同定の開発.④音源情報を利用した複数音源追跡時の曖昧性解消.
【WP2+5:凧式ドローン上での3Dレーザ計測】⑤凧式ドローンへのGNSSアンテナの搭載と3D点群構築法の開発,⑥高度情報の高性能化.【WP3+2:システム統合】⑦粗3D点群を用いた統合型音源位置推定・追跡法の開発.【WP3+4+1:システム統合】⑧静音翼の音響特性に基づいた周波数帯選択型MUSICによる音源定位の高性能化と静音翼の効果を評価.
【WP4:生物模倣による静音化】⑨サイズ・形状の異なるプロペラに同一の静音化構造を付与したモデルを用いて,騒音レベル・飛行安定性・機動性を実験・数値計算により評価,⑩個々のプロペラでの最適化構造の導出と,異なるサイズ・翼形状を有する機体間で静音化・高効率化へ寄与する包括的な設計指針を導出・検証.【WP5:凧式ドローンによる滑空による静音化】⑪初年度開発した親子型凧式ドローンの飛行姿勢の推定と安定化制御の開発,⑫親子型凧式ドローンの凧式ドローンに搭載したマイクアレイによる地上音検知とその評価.
上記は,音源情報や静音翼の音響特性といった認知情報を活用した「認知行動サイクル」をベースとする手法であり,「認知ドローン聴覚」の一環と位置付けられる.最終年度に向けて「認知ドローン聴覚」の足場固めをする.また,開発したドローン聴覚の音響処理技術はロボット聴覚ソフトウエアHARKに組込み,公開するとともに無料講習会を実施する.また,認知ドローン聴覚の国際的な研究コミュニティの確立を図る.

  • Research Products

    (37 results)

All 2020 2019 Other

All Int'l Joint Research (1 results) Journal Article (22 results) (of which Int'l Joint Research: 3 results,  Peer Reviewed: 15 results,  Open Access: 6 results) Presentation (9 results) (of which Invited: 1 results) Remarks (3 results) Funded Workshop (2 results)

  • [Int'l Joint Research] Virginia Institute of Technology/University of Virginia(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      Virginia Institute of Technology/University of Virginia
  • [Journal Article] Multiple Sound Source Position Estimation by Drone Audition Based on Data Association Between Sound Source Localization and Identification2020

    • Author(s)
      Mizuho Wakabayashi , Hiroshi G. Okuno, Makoto Kumon
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 5 Pages: 782~789

    • DOI

      10.1109/LRA.2020.2965417

    • Peer Reviewed / Open Access
  • [Journal Article] Fine-scale observations of spatio-spectro-temporal dynamics of bird vocalizations using robot audition techniques2020

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Remote Sensing in Ecology and Conservation,

      Volume: 印刷中 Pages: -

    • DOI

      10.1002/rse2.152

    • Peer Reviewed / Open Access
  • [Journal Article] Drone Audition Listening from the Sky Estimates Multiple Sound Source Positions by Integrating Sound Source Localization and Data Association2020

    • Author(s)
      Mizuho Wakabayashi, Hiroshi G. Okuno, Makoto Kumon
    • Journal Title

      Advanced Robotics

      Volume: 採録決定 Pages: -

    • DOI

      Not assigned yet

    • Peer Reviewed
  • [Journal Article] Multi-hop Wireless Command and Telemetry Communciation System for Remote Operation of Robots with Extending Operation Area Beyoond Line-of-Sight using 920MHz/169MHz2020

    • Author(s)
      Toshinori Kagawa, Fumie Ono, Lin Shan, Ryu Miura, Kazuhiro Nakadai, Kotaro Hoshiba, Makoto Kumon, Hiroshi G. Okuno, Shin Kato, and Fumihide Kojima
    • Journal Title

      Advanced Robotics

      Volume: 採録決定 Pages: -

    • DOI

      Not assigned yet

    • Peer Reviewed
  • [Journal Article] Soundscape Analysis of Bird Songs in Forests Using Microphone Arrays2020

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Takemi Morimatsu, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Proceedings of 2020 IEEE/SICE International Conference on System Integration (SII-2020)

      Volume: - Pages: 634-639

    • DOI

      SII46433.2020.90262679

    • Peer Reviewed
  • [Journal Article] Sound Source Tracking by Incorporating Target Motion Estimated by Visual Trackers2020

    • Author(s)
      Yuto Kokusho, Makoto Kumon
    • Journal Title

      roceedings of 2020 IEEE/SICE International Conference on System Integration (SII-2020)

      Volume: - Pages: 652-657

    • DOI

      10.1109/SII46433.2020.9025921

    • Peer Reviewed
  • [Journal Article] Design and Implementation of Real-Time Visualization of Sound Source Positions by Drone Audition,2020

    • Author(s)
      Mizuho Wakabayashi, Hiroshi G. Okuno, Makoto Kumon
    • Journal Title

      roceedings of 2020 IEEE/SICE International Conference on System Integration (SII-2020)

      Volume: - Pages: 814-819

    • DOI

      10.1109/SII46433.2020.9025940

    • Peer Reviewed / Int'l Joint Research
  • [Journal Article] Multiple Sound Source Position Estimation by Drone Audition Based on Data Association between Sound Source Localization and Identification2020

    • Author(s)
      Mizuho Wakabayashi, Hiroshi G. Okuno, Makoto Kumon
    • Journal Title

      Proceedings of 2020 IEEE International Conference on Robots and Automation (ICRA 2020)

      Volume: 採録決定 Pages: 8p

    • DOI

      Not assigned yet

    • Peer Reviewed
  • [Journal Article] A robot audition approach toward understanding social interactions among songbirds in a semi-free flight environment2020

    • Author(s)
      Shinji Sumitani, Reiji Suzuki,Kazuhiro Wada, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Proceedings of the 25th International Symposium on Artificial Life and Robots

      Volume: - Pages: 986-981

    • DOI

      N/C

    • Peer Reviewed
  • [Journal Article] Computational Design of Statically Balanced Spring Mechanisms,2019

    • Author(s)
      Takuto Takahashi, Hiroshi G. Okuno, Shigeki Sugano, Stelian Coros, Bernhard Thomaszewski
    • Journal Title

      IEEE Robotics and Automation Letters

      Volume: 4 Pages: 4438-4444

    • DOI

      10.1109/LRA.2019.2929984

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] AN INTEGRATED FRAMEWORK FOR FIELD RECORDING, LOCALIZATION, CLASSIFICATION AND ANNOTATION OF BIRDSONGS USING ROBOT AUDITION TECHNIQUES - HARKBIRD 2.0.2019

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Proceedings of 2019 International Conference on Acoustics, Speech and Signal Processing (ICASSP 2019)

      Volume: - Pages: 8246-8250

    • DOI

      10.1109/ICASSP.2019.8683743

    • Peer Reviewed / Open Access
  • [Journal Article] Computational Design of Zero-Stiffness Mechanisms2019

    • Author(s)
      Takuto Takahashi, Hiroshi G. Okuno, Shigeki Sugano, Stelian Coros, Bernhard Thomaszewski
    • Journal Title

      Proceedings of 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2019)

      Volume: - Pages: 3389-3394

    • DOI

      Not assigned yet

    • Peer Reviewed / Open Access / Int'l Joint Research
  • [Journal Article] Robot Audition Approach to Field Observation of Bird Songs2019

    • Author(s)
      Shinji Sumitani, Takemi Morimatsu, Reiji Suzuki, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Proceedings of 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2019)

      Volume: - Pages: 3389

    • DOI

      Not assigned yet

  • [Journal Article] Robust UAV Position and Attitude Estimation using Multiple GNSS Receivers for Laser-based 3D Mapping2019

    • Author(s)
      Taro Suzuki, D. Inoue, and Yoshiharu Amano
    • Journal Title

      Proceedings of 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2019)

      Volume: - Pages: 4402-4408

    • DOI

      10.1109/IROS40897.2019.8967894

    • Peer Reviewed
  • [Journal Article] Belief-Driven Control Policy of a Drone with Microphones for Multiple Sound Source Search2019

    • Author(s)
      Kenshiro Yamada, Makoto Kumon, Tomonari Furukawa
    • Journal Title

      Proceedings of 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS-2019)

      Volume: - Pages: 5326-5332

    • DOI

      10.1109/IROS40897.2019.8968119

    • Peer Reviewed / Open Access
  • [Journal Article] Study of Stabilization of Audible Spot including Multiple Frequencies with Two Parametric Speakers2019

    • Author(s)
      Takumi Hakamata, Kotaro Hoshiba, Takenobu Tsuchiya, Nobuyuki Endoh
    • Journal Title

      Proceedings of the 14th TOIN International Symposium on Biomedical Engineering (BME)

      Volume: - Pages: 150-151

  • [Journal Article] Control of sound pressure in audible spot using parametric speakers2019

    • Author(s)
      Takumi Hakamata, Hiroyoshi Yamashita, Keisuke Watanabe, Kotaro Hoshiba, Takenobu Tsuchiya, Nobuyuki Endoh
    • Journal Title

      Proceedings of the 23rd International Congress on Acoustics (ICA)

      Volume: - Pages: 2690-2695

    • Peer Reviewed
  • [Journal Article] 能動スコープカメラの極限ロボット聴覚2019

    • Author(s)
      坂東 宜昭, 安部 祐一, 糸山 克寿, 奥乃 博, 藤原 始史
    • Journal Title

      日本ロボット学会誌

      Volume: 37 Pages: 808-813

    • DOI

      10.7210/jrsj.37.808

  • [Journal Article] UAVにおけるGNSS応用:複数のGNSSとLiDARの複合による3Dマッピング2019

    • Author(s)
      鈴木 太郎
    • Journal Title

      日本ロボット学会誌

      Volume: 37 Pages: 603-606

    • DOI

      10.7210/jrsj.37.603

  • [Journal Article] 鳴き声で追う夜行性鳥類:ロボット聴覚の応用実例2019

    • Author(s)
      松林 志保, 斉藤 史之, 鈴木 麗璽, 中臺 一博, 奥乃 博
    • Journal Title

      景観生態学

      Volume: 24 Pages: 104-105

    • DOI

      10.5738/jale.24.104

  • [Journal Article] 柔軟索状レスキューロボットのための空気噴射音下での単チャネル音声強調2019

    • Author(s)
      坂東 宜昭, 安部 祐一, 糸山 克寿, 昆陽 雅司, 田所 諭, 中臺 一博, 奥乃 博
    • Journal Title

      ロボティクス・メカトロニクス講演会講演概要集

      Volume: 2019 Pages: 2A2-D07

    • DOI

      10.1299/jsmermd.2019.2A2-D07

  • [Journal Article] GNSS衛星選択とドップラー速度複合による一周波RTK-GNSS測位の精度向上2019

    • Author(s)
      清水 南良 , 草間 一輝 , 鈴木 太郎 , 天野 嘉春
    • Journal Title

      ロボティクス・メカトロニクス講演会講演概要集

      Volume: 2019 Pages: 1P2-D08

    • DOI

      10.1299/jsmermd.2019.2A1-D02

  • [Presentation] 2019年度日本景観生態学会第29回京都大会講演要旨集2020

    • Author(s)
      松林 志保, 斉藤 史之, 鈴木 麗璽, 中臺 一博, 奥乃 博
    • Organizer
      第67回日本生態学会大会
  • [Presentation] 「見えない」鳥を音で追う:定位技術を活用した鳥類観測2019

    • Author(s)
      松林 志保, 斉藤 史之, 鈴木 麗璽, 中臺 一博, 奥乃 博
    • Organizer
      2019年度日本景観生態学会第29回京都大会講演要旨集
  • [Presentation] ルチコプター型ドローンにおける低騒音型プロペラの開発2019

    • Author(s)
      野田 龍介,中田 敏是,池田 旭彰,石橋 健太,劉 浩
    • Organizer
      第37回日本ロボット学会学術講演会(RSJ2019)
    • Invited
  • [Presentation] MUSIC法に基づく空中音響センシング手法の室内環境における実験的評価2019

    • Author(s)
      干場功太郎, 下村竹蔵, 土屋健伸
    • Organizer
      第37回日本ロボット学会学術講演会(RSJ2019)
  • [Presentation] 二つのパラメトリックスピーカを用いた局所的可聴領域形成における複数周波数同時制御の検討2019

    • Author(s)
      袴田拓実, 干場功太郎, 土屋健伸, 遠藤信行
    • Organizer
      第37回日本ロボット学会学術講演会(RSJ2019)
  • [Presentation] Forming and controlling audible spot including wide frequency band with two parametric speakers2019

    • Author(s)
      Takumi Hakamata, Kotaro Hoshiba, Takenobu Tsuchiya, Nobuyuki Endoh
    • Organizer
      The 40th Symposium on Ultrasonic Electronics (USE)
  • [Presentation] 二つのパラメトリックスピーカを用いた複数の周波数を含む局所的可聴領域形成における音圧制御の検討2019

    • Author(s)
      袴田拓実, 干場功太郎, 土屋健伸, 遠藤信行
    • Organizer
      電子情報通信学会ソサイエティ大会
  • [Presentation] パラメトリックスピーカを用いたオーディオスポット形成における広帯域信号の安定化の検討2019

    • Author(s)
      袴田拓実, 干場功太郎, 土屋健伸, 遠藤信行
    • Organizer
      第55回人工知能学会AIチャレンジ研究会
  • [Presentation] 二つのパラメトリックスピーカを用いたオーディオスポット形成における頭部による影響2019

    • Author(s)
      袴田拓実, 干場功太郎, 土屋健伸, 遠藤信行
    • Organizer
      電子情報通信学会 超音波研究会
  • [Remarks] ロボット聴覚オープンソフトウエア

    • URL

      https://www.hark.jp/

  • [Remarks] ドローン聴覚

    • URL

      https://as.mech.kumamoto-u.ac.jp/ja/research

  • [Remarks] 生物規範による静音翼

    • URL

      http://www.em.eng.chiba-u.jp/~liu/index.php?Projects

  • [Funded Workshop] SII2020 Special Session on Robot Audition and its System Integration2020

  • [Funded Workshop] IROS 2020 Organized Session on Field-Oriented Robot Audition2019

URL: 

Published: 2021-01-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi