• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

Applications of robot audition techniques to multi-scale observations of ecological dynamics in bird vocalizations

Research Project

Project/Area Number 19KK0260
Research Category

Fund for the Promotion of Joint International Research (Fostering Joint International Research (B))

Allocation TypeMulti-year Fund
Review Section Medium-sized Section 61:Human informatics and related fields
Research InstitutionNagoya University

Principal Investigator

鈴木 麗璽  名古屋大学, 情報学研究科, 准教授 (20362296)

Co-Investigator(Kenkyū-buntansha) 松林 志保  大阪大学, 工学研究科, 特任准教授(常勤) (60804804)
藤田 素子  京都大学, 東南アジア地域研究研究所, 連携研究員 (50456828)
小島 諒介  京都大学, 医学研究科, 特定助教 (70807651)
中臺 一博  東京工業大学, 工学院, 特任教授 (70436715)
Project Period (FY) 2019-10-07 – 2023-03-31
Project Status Granted (Fiscal Year 2020)
Budget Amount *help
¥18,460,000 (Direct Cost: ¥14,200,000、Indirect Cost: ¥4,260,000)
Fiscal Year 2022: ¥3,120,000 (Direct Cost: ¥2,400,000、Indirect Cost: ¥720,000)
Fiscal Year 2021: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
Fiscal Year 2020: ¥7,150,000 (Direct Cost: ¥5,500,000、Indirect Cost: ¥1,650,000)
Fiscal Year 2019: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Keywordsロボット聴覚 / 鳥類の鳴き声 / マイクロホンアレイ / 行動生態観測 / 生態音響学
Outline of Research at the Start

本課題はマイクアレイを用いて音を聞き分けるロボット聴覚技術を活用して,「個体・集団・音風景」という時間・空間スケールの異なる鳥類生態の観測に革新的な貢献をもたらすことを目的とする.具体的には,国内のロボット聴覚研究者・生態学者が,米国の保護区の草原や森林,アジアの熱帯林等に出向き,現地の研究グループと協同して録音調査を行う.二次元音源定位による個体レベルの行動観測から,多個体のなわばり同定・鳴き声分類と特徴抽出,長時間・広範囲のマクロレベルの音景観多様性指標の抽出を行うことを通し,マルチスケールの生態情報の抽出を可能とするシステム開発と検討を行う.

Outline of Annual Research Achievements

本課題は,マイクアレイを用いて音を聞き分けるロボット聴覚技術を活用して,「個体・集団・音風景」という時間・空間スケールの異なる鳥類生態の観測に革新的な貢献をもたらすことを目的とする.
本年度は,新型コロナウイルスの影響により,予定していた米国カリフォルニア州,テキサス州,インドネシアスマトラ島に出向いて行う調査が残念ながら不可能となった.そのため,継続して調査・観測を続けている国内の調査地での録音等も活用し,実験観測分析手法の洗練に注力した.具体的には次のとおりである.屋外長期設置が可能な16チャネルマイクアレイを構築し試用を開始した.最新の次元圧縮手法を活用し,大量のデータにおいても適用可能な識別・定位,教師なし分類手法を検討した.音源定位方向を反映した疑似色スペクトログラムや,MUSICスペクトルの次元圧縮による音風景の可視化等を検討した.野外テント内において複数の鳥類個体が自由に飛び交う状況を屋外環境に見立て,テント内に設置した複数のマイクアレイからの情報を機械学習で統合し,高精度に二次元音源定位可能な手法を検討した.屋外でのカリフォルニアでの従来のプレイバック実験における2台のマイクアレイを用いた対象個体の二次元音源定位に基づく行動傾向の分析に関して,リモートセンシングと生態情報学における生態音響学に関する特集号に成果をまとめた.コロナ禍終息後の各調査地での調査に関して,研究補助期間の延長を含めた将来の計画について検討した.そのほか,マイクアレイの同期やキャリブレーション等,屋外環境にも適用可能な音源定位技術の洗練に関する種々の研究を推し進めた.

Current Status of Research Progress
Current Status of Research Progress

4: Progress in research has been delayed.

Reason

昨年度末からの新型コロナウイルスの影響を受けて,現地に出向いての海外調査活動が不可能となったのは想定外であり,この点において研究に大きく遅れが生じた.今後は調査が可能となる時期を見極めつつ柔軟な対応(収束後の調査への準備,観測・分析手法の開発への注力)が必要な状況にある.

Strategy for Future Research Activity

本年度は,状況が改善し海外渡航が可能になることを前提に,海外調査時の観測機材の試用と分析手法の試行を国内拠点において着実に進め,将来得られる海外録音データの比較検討のための土台を構築する.具体的には,新たに導入した屋外設置型16チャネルマイクロホンアレイによる定点観測に加え,観測データのデータベース化,識別・定位,教師なし分類手法の検討等をさらに進める.録音データを容易に分析可能にするため,従来のアプリケーションベースからWebベースの音源定位・分離・分析システムの構築も推し進める.
各海外調査地の共同研究者と今後に向けた方針を状況変化に合わせて検討し,プレイバック実験,縄張り可視化,生物多様性指標の開発等,異なるスケールに注目した鳥類生態観測手法の開発と試行を進め,可能になり次第海外調査に取り組む.また,可能な場合は遠隔での観測も検討する.

Report

(2 results)
  • 2020 Research-status Report
  • 2019 Research-status Report

Research Products

(34 results)

All 2021 2020 2019 Other

All Int'l Joint Research (7 results) Journal Article (5 results) (of which Int'l Joint Research: 1 results,  Peer Reviewed: 4 results,  Open Access: 2 results) Presentation (21 results) (of which Int'l Joint Research: 10 results,  Invited: 1 results) Remarks (1 results)

  • [Int'l Joint Research] University of California, Los Angeles/University of California, Berkeley/University of North Texas(米国)

    • Related Report
      2020 Research-status Report
  • [Int'l Joint Research] Sriwijaya University/The Indonesian Institute of Sciences(インドネシア)

    • Related Report
      2020 Research-status Report
  • [Int'l Joint Research] Queen Mary University of London(英国)

    • Related Report
      2020 Research-status Report
  • [Int'l Joint Research] Tilburg University/Naturalis Biodiversity Centre(オランダ)

    • Related Report
      2020 Research-status Report
  • [Int'l Joint Research] University of California, Los Angeles/University of California, Berkeley(米国)

    • Related Report
      2019 Research-status Report
  • [Int'l Joint Research] University of North Texas(米国)

    • Related Report
      2019 Research-status Report
  • [Int'l Joint Research] Sriwijaya University/The Indonesian Institute of Sciences(インドネシア)

    • Related Report
      2019 Research-status Report
  • [Journal Article] Fine-scale observations of spatio-spectro-temporal dynamics of bird vocalizations using robot audition techniques2021

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi,G, Okuno
    • Journal Title

      Remote Sensing in Ecology and Conservation

      Volume: 2(152) Pages: 1-18

    • DOI

      10.1002/rse2.152

    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] Sound event aware environmental sound segmentation with Mask U-Net2020

    • Author(s)
      Yui Sudo, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Journal Title

      Advanced Robotics

      Volume: 34(20) Pages: 1280-1290

    • DOI

      10.1080/01691864.2020.1829040

    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Journal Article] Acoustic monitoring of owl fledglings2020

    • Author(s)
      松林志保, 斎藤史之, 鈴木麗璽, 中臺一博, 奥乃博
    • Journal Title

      Landscape Ecology and Management

      Volume: 25(1) Issue: 1 Pages: 87-89

    • DOI

      10.5738/jale.25.87

    • NAID

      130007980648

    • ISSN
      1880-0092, 1884-6718
    • Related Report
      2020 Research-status Report
    • Peer Reviewed / Open Access
  • [Journal Article] 鳴き声で追う夜行性鳥類:ロボット聴覚の応用実例2019

    • Author(s)
      松林志保, 斎藤史之, 鈴木麗璽, 中臺一博, 奥乃博
    • Journal Title

      景観生態学

      Volume: 24 Pages: 104-105

    • Related Report
      2019 Research-status Report
  • [Journal Article] Complex systems approaches to temporal soundspace partitioning in bird communities as a self-organizing phenomenon based on behavioral plasticity2019

    • Author(s)
      Reiji Suzuki and Martin L. Cody
    • Journal Title

      Artificial Life and Robotics

      Volume: 24 Pages: 439-444

    • DOI

      10.1007/s10015-019-00553-x

    • Related Report
      2019 Research-status Report
    • Peer Reviewed / Int'l Joint Research
  • [Presentation] 鳥類の鳴き声観測に対するロボット聴覚アプローチ2021

    • Author(s)
      鈴木麗璽, 炭谷晋司, 松林志保, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      日本生態学会第68回大会
    • Related Report
      2020 Research-status Report
  • [Presentation] Visualizing Directional Soundscapes of Bird Vocalizations Using Robot Audition Techniques2021

    • Author(s)
      Reiji Suzuki, Hao Zhao, Shinji Sumitani, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integrations (SII)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Observing Nocturnal Birds Using Localization Techniques2021

    • Author(s)
      Shiho Matsubayashi, Fumiyuki Saito, Reiji Suzuki, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integrations (SII)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] An Unsupervised Auditory Scene Analysis System Using Incremental Low-Dimensional Embedding2021

    • Author(s)
      Kenta Shinzato, Ryosuke Kojima
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integration (SII)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Multi-Channel Environmental Sound Segmentation Utilizing Sound Source Localization and Separation U-Net2021

    • Author(s)
      Yui Sudo, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integration (SII 2021)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Assessment of a Beamforming Implementation Developed for Surface Sound Source Separation2021

    • Author(s)
      Zhi Zhong, Shakeel Muhammad, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      The 2021 IEEE/SICE International Symposium on System Integration (SII 2021)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques2020

    • Author(s)
      Hao Zhao, Reiji Suzuki, Shinji Sumitani, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      第57回AIチャレンジ研究会予稿集
    • Related Report
      2020 Research-status Report
  • [Presentation] Visualizing Soundscape of Animal Vocalizations in Forests Using Robot Audition Techniques2020

    • Author(s)
      鈴木麗璽, Hao Zhao, 炭谷晋司, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      第57回AIチャレンジ研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 音源定位技術による野鳥の行動と生態調査2020

    • Author(s)
      松林志保
    • Organizer
      日本景観生態学会 研究交流セミナー JALE-Tomorrow
    • Related Report
      2020 Research-status Report
    • Invited
  • [Presentation] オンライン音環境認識のための低次元埋め込み手法の高速化2020

    • Author(s)
      新里 顕大, 小島 諒介
    • Organizer
      第57回人工知能学会 AI チャレンジ研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] Calibration of a Microphone Array Based on a Probabilistic Model of Microphone Positions", in Trends in Artificial Intelligence Theory and Applications2020

    • Author(s)
      Katsuhiro Dan, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      IEA/AIE 2020
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Synchronization of Microphones Based on Rank Minimization of Warped Spectrum for Asynchronous Distributed Recording2020

    • Author(s)
      Katsutoshi Itoyama and Kazuhiro Nakadai
    • Organizer
      The 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Onset-informed source separation using non-negative matrix factorization with binary masks2020

    • Author(s)
      Yuta Kusaka, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      The 23rd International Conference on Digital Audio Effects (DAFx-2020)
    • Related Report
      2020 Research-status Report
    • Int'l Joint Research
  • [Presentation] Implementation and Performance Assessment of the Scan-and-sum Beamformer2020

    • Author(s)
      Zhi Zhong, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      第38回日本ロボット学会学術講演会 (RSJ 2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 伸縮スペクトルのランク最小化の緩和に基づくチャネル間同期2020

    • Author(s)
      糸山 克寿, 中臺 一博
    • Organizer
      第38回日本ロボット学会学術講演会 (RSJ 2020)
    • Related Report
      2020 Research-status Report
  • [Presentation] 複数マイクロホンアレイを用いたNMFによる空間音源分離法の提案と評価2020

    • Author(s)
      鍵本 泰宏, 糸山 克寿, 西田 健次, 中臺 一博
    • Organizer
      第38回日本ロボット学会学術講演会
    • Related Report
      2020 Research-status Report
  • [Presentation] マイクロホン位置と音源スペクトルの確率モデルに基づくマイクロホンアレイのキャリブレーション2020

    • Author(s)
      段 雄啓, 糸山 克寿, 西田 健次, 中臺 一博
    • Organizer
      第57回人工知能学会 AIチャレンジ研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] A robot audition approach toward understanding social interactions among songbirds in a semi-free flight environment2020

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Kazuhiro Wada, Takaya Arita, Kazuhiro Nakadai and Hiroshi Okuno
    • Organizer
      The 25th International Symposium on Artificial Life and Robotics (AROB 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] Soundscape Analysis of Bird Songs in Forests Using Microphone Arrays2020

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, and Hiroshi Okuno
    • Organizer
      The 2020 IEEE/SICE International Symposium on System Integration (SII 2020)
    • Related Report
      2019 Research-status Report
    • Int'l Joint Research
  • [Presentation] ロボット聴覚技術を用いた鳥類の鳴き声観測に対するマルチスケールアプローチ2020

    • Author(s)
      鈴木麗璽, 炭谷晋司, 松林志保, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      日本生態学会第67回全国大会
    • Related Report
      2019 Research-status Report
  • [Presentation] 生成モデルに基づく鳴き声を用いた鳥類に対するプレイバック実験の試行2019

    • Author(s)
      炭谷晋司, 松林志保, 鈴木麗璽, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      第55回AIチャレンジ研究会
    • Related Report
      2019 Research-status Report
  • [Remarks] 鳥類の鳴き声を題材としたロボット聴覚技術のマルチスケール行動生態観測への応用

    • URL

      https://sites.google.com/view/bird-robot-kokusaib/home

    • Related Report
      2020 Research-status Report 2019 Research-status Report

URL: 

Published: 2019-10-10   Modified: 2021-12-27  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi