• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2020 Fiscal Year Research-status Report

Applications of robot audition techniques to multi-scale observations of ecological dynamics in bird vocalizations

Research Project

Project/Area Number 19KK0260
Research InstitutionNagoya University

Principal Investigator

鈴木 麗璽  名古屋大学, 情報学研究科, 准教授 (20362296)

Co-Investigator(Kenkyū-buntansha) 松林 志保  大阪大学, 工学研究科, 特任准教授(常勤) (60804804)
藤田 素子  京都大学, 東南アジア地域研究研究所, 連携研究員 (50456828)
小島 諒介  京都大学, 医学研究科, 特定助教 (70807651)
中臺 一博  東京工業大学, 工学院, 特任教授 (70436715)
Project Period (FY) 2019-10-07 – 2023-03-31
Keywordsロボット聴覚 / 鳥類の鳴き声 / マイクロホンアレイ / 行動生態観測 / 生態音響学
Outline of Annual Research Achievements

本課題は,マイクアレイを用いて音を聞き分けるロボット聴覚技術を活用して,「個体・集団・音風景」という時間・空間スケールの異なる鳥類生態の観測に革新的な貢献をもたらすことを目的とする.
本年度は,新型コロナウイルスの影響により,予定していた米国カリフォルニア州,テキサス州,インドネシアスマトラ島に出向いて行う調査が残念ながら不可能となった.そのため,継続して調査・観測を続けている国内の調査地での録音等も活用し,実験観測分析手法の洗練に注力した.具体的には次のとおりである.屋外長期設置が可能な16チャネルマイクアレイを構築し試用を開始した.最新の次元圧縮手法を活用し,大量のデータにおいても適用可能な識別・定位,教師なし分類手法を検討した.音源定位方向を反映した疑似色スペクトログラムや,MUSICスペクトルの次元圧縮による音風景の可視化等を検討した.野外テント内において複数の鳥類個体が自由に飛び交う状況を屋外環境に見立て,テント内に設置した複数のマイクアレイからの情報を機械学習で統合し,高精度に二次元音源定位可能な手法を検討した.屋外でのカリフォルニアでの従来のプレイバック実験における2台のマイクアレイを用いた対象個体の二次元音源定位に基づく行動傾向の分析に関して,リモートセンシングと生態情報学における生態音響学に関する特集号に成果をまとめた.コロナ禍終息後の各調査地での調査に関して,研究補助期間の延長を含めた将来の計画について検討した.そのほか,マイクアレイの同期やキャリブレーション等,屋外環境にも適用可能な音源定位技術の洗練に関する種々の研究を推し進めた.

Current Status of Research Progress
Current Status of Research Progress

4: Progress in research has been delayed.

Reason

昨年度末からの新型コロナウイルスの影響を受けて,現地に出向いての海外調査活動が不可能となったのは想定外であり,この点において研究に大きく遅れが生じた.今後は調査が可能となる時期を見極めつつ柔軟な対応(収束後の調査への準備,観測・分析手法の開発への注力)が必要な状況にある.

Strategy for Future Research Activity

本年度は,状況が改善し海外渡航が可能になることを前提に,海外調査時の観測機材の試用と分析手法の試行を国内拠点において着実に進め,将来得られる海外録音データの比較検討のための土台を構築する.具体的には,新たに導入した屋外設置型16チャネルマイクロホンアレイによる定点観測に加え,観測データのデータベース化,識別・定位,教師なし分類手法の検討等をさらに進める.録音データを容易に分析可能にするため,従来のアプリケーションベースからWebベースの音源定位・分離・分析システムの構築も推し進める.
各海外調査地の共同研究者と今後に向けた方針を状況変化に合わせて検討し,プレイバック実験,縄張り可視化,生物多様性指標の開発等,異なるスケールに注目した鳥類生態観測手法の開発と試行を進め,可能になり次第海外調査に取り組む.また,可能な場合は遠隔での観測も検討する.

Causes of Carryover

新型コロナウイルスの影響により海外現地調査が不可能になり,次年度以降に延期を余儀なくされたため,代表者・分担者ともに旅費のほとんど,および,機材整備費等の多くを繰り越すこととなった.次年度以降は,繰越額と当該年度申請額を合わせ,コロナ禍収束後の調査に向けて準備し,調査可能になり次第実施予定である.

  • Research Products

    (25 results)

All 2021 2020 Other

All Int'l Joint Research (4 results) Journal Article (3 results) (of which Peer Reviewed: 2 results,  Open Access: 1 results) Presentation (17 results) (of which Int'l Joint Research: 8 results,  Invited: 1 results) Remarks (1 results)

  • [Int'l Joint Research] University of California, Los Angeles/University of California, Berkeley/University of North Texas(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      University of California, Los Angeles/University of California, Berkeley/University of North Texas
  • [Int'l Joint Research] Sriwijaya University/The Indonesian Institute of Sciences(インドネシア)

    • Country Name
      INDONESIA
    • Counterpart Institution
      Sriwijaya University/The Indonesian Institute of Sciences
  • [Int'l Joint Research] Queen Mary University of London(英国)

    • Country Name
      UNITED KINGDOM
    • Counterpart Institution
      Queen Mary University of London
  • [Int'l Joint Research] Tilburg University/Naturalis Biodiversity Centre(オランダ)

    • Country Name
      NETHERLANDS
    • Counterpart Institution
      Tilburg University/Naturalis Biodiversity Centre
  • [Journal Article] Fine‐scale observations of spatio‐spectro‐temporal dynamics of bird vocalizations using robot audition techniques2021

    • Author(s)
      hinji Sumitani, Reiji Suzuki, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Remote Sensing in Ecology and Conservation

      Volume: 7(1) Pages: 18~35

    • DOI

      10.1002/rse2.152

    • Peer Reviewed / Open Access
  • [Journal Article] Sound event aware environmental sound segmentation with Mask U-Net2020

    • Author(s)
      Yui Sudo, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Journal Title

      Advanced Robotics

      Volume: 34(20) Pages: 1280-1290

    • DOI

      10.1080/01691864.2020.1829040

    • Peer Reviewed
  • [Journal Article] 音で追跡するフクロウの巣立ち2020

    • Author(s)
      松林志保, 斎藤史之, 鈴木麗璽, 中臺一博, 奥乃博
    • Journal Title

      景観生態学

      Volume: 25(1) Pages: 87-89

    • DOI

      10.5738/jale.25.87

  • [Presentation] 鳥類の鳴き声観測に対するロボット聴覚アプローチ2021

    • Author(s)
      鈴木麗璽, 炭谷晋司, 松林志保, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      日本生態学会第68回大会
  • [Presentation] Visualizing Directional Soundscapes of Bird Vocalizations Using Robot Audition Techniques2021

    • Author(s)
      Reiji Suzuki, Hao Zhao, Shinji Sumitani, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integrations (SII)
    • Int'l Joint Research
  • [Presentation] Observing Nocturnal Birds Using Localization Techniques2021

    • Author(s)
      Shiho Matsubayashi, Fumiyuki Saito, Reiji Suzuki, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integrations (SII)
    • Int'l Joint Research
  • [Presentation] An Unsupervised Auditory Scene Analysis System Using Incremental Low-Dimensional Embedding2021

    • Author(s)
      Kenta Shinzato, Ryosuke Kojima
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integration (SII)
    • Int'l Joint Research
  • [Presentation] Multi-Channel Environmental Sound Segmentation Utilizing Sound Source Localization and Separation U-Net2021

    • Author(s)
      Yui Sudo, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integration (SII 2021)
    • Int'l Joint Research
  • [Presentation] Assessment of a Beamforming Implementation Developed for Surface Sound Source Separation2021

    • Author(s)
      Zhi Zhong, Shakeel Muhammad, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integration (SII 2021)
    • Int'l Joint Research
  • [Presentation] Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques2020

    • Author(s)
      Hao Zhao, Reiji Suzuki, Shinji Sumitani, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      第57回AIチャレンジ研究会予稿集
  • [Presentation] Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques2020

    • Author(s)
      鈴木麗璽, Hao Zhao, 炭谷晋司, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      第57回AIチャレンジ研究会
  • [Presentation] 音源定位技術による野鳥の行動と生態調査2020

    • Author(s)
      松林志保
    • Organizer
      日本景観生態学会 研究交流セミナー JALE-Tomorrow
    • Invited
  • [Presentation] オンライン音環境認識のための低次元埋め込み手法の高速化2020

    • Author(s)
      新里 顕大, 小島 諒介
    • Organizer
      第57回人工知能学会 AI チャレンジ研究会
  • [Presentation] Calibration of a Microphone Array Based on a Probabilistic Model of Microphone Positions", in Trends in Artificial Intelligence Theory and Applications2020

    • Author(s)
      Katsuhiro Dan, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      IEA/AIE 2020
    • Int'l Joint Research
  • [Presentation] Synchronization of Microphones Based on Rank Minimization of Warped Spectrum for Asynchronous Distributed Recording2020

    • Author(s)
      Katsutoshi Itoyama and Kazuhiro Nakadai
    • Organizer
      The 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Int'l Joint Research
  • [Presentation] Onset-informed source separation using non-negative matrix factorization with binary masks2020

    • Author(s)
      Yuta Kusaka, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      The 23rd International Conference on Digital Audio Effects (DAFx-2020)
    • Int'l Joint Research
  • [Presentation] Implementation and Performance Assessment of the Scan-and-sum Beamformer2020

    • Author(s)
      Zhi Zhong, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      第38回日本ロボット学会学術講演会 (RSJ 2020)
  • [Presentation] 伸縮スペクトルのランク最小化の緩和に基づくチャネル間同期2020

    • Author(s)
      糸山 克寿, 中臺 一博
    • Organizer
      第38回日本ロボット学会学術講演会 (RSJ 2020)
  • [Presentation] 複数マイクロホンアレイを用いたNMFによる空間音源分離法の提案と評価2020

    • Author(s)
      鍵本 泰宏, 糸山 克寿, 西田 健次, 中臺 一博
    • Organizer
      第38回日本ロボット学会学術講演会
  • [Presentation] マイクロホン位置と音源スペクトルの確率モデルに基づくマイクロホンアレイのキャリブレーション2020

    • Author(s)
      段 雄啓, 糸山 克寿, 西田 健次, 中臺 一博
    • Organizer
      第57回人工知能学会 AIチャレンジ研究会
  • [Remarks] 鳥類の鳴き声を題材としたロボット聴覚技術のマルチスケール行動生態観測への応用

    • URL

      https://sites.google.com/view/bird-robot-kokusaib/home

URL: 

Published: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi