• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2021 Fiscal Year Research-status Report

Applications of robot audition techniques to multi-scale observations of ecological dynamics in bird vocalizations

Research Project

Project/Area Number 19KK0260
Research InstitutionNagoya University

Principal Investigator

鈴木 麗璽  名古屋大学, 情報学研究科, 准教授 (20362296)

Co-Investigator(Kenkyū-buntansha) 松林 志保  大阪大学, 基礎工学研究科, 特任准教授(常勤) (60804804)
藤田 素子  京都大学, 東南アジア地域研究研究所, 連携研究員 (50456828) [Withdrawn]
小島 諒介  京都大学, 医学研究科, 講師 (70807651)
中臺 一博  東京工業大学, 工学院, 特任教授 (70436715)
Project Period (FY) 2019-10-07 – 2023-03-31
Keywordsロボット聴覚 / 鳥類の鳴き声 / マイクロホンアレイ / 行動生態観測 / 生態音響学
Outline of Annual Research Achievements

本課題は,マイクアレイを用いて音を聞き分けるロボット聴覚技術を活用して,「個体・集団・音風景」という時間・空間スケールの異なる鳥類生態の観測に革新的な貢献をもたらすことを目的とする.
本年度は,昨年度から続く新型コロナウイルスの影響により,予定していた米国カリフォルニア州,テキサス州,インドネシアスマトラ島に出向いて行う調査が実施できなかった.カリフォルニアにおいては,一部共同研究者による遠隔での録音サンプルの収録を行いそれに基づく鳴き声分析手法の検討を進めたが,インドネシアに関しては諸々の事情により調査が難しくなった.
このような状況を踏まえ,継続して調査・観測を続けている国内の調査地での録音等も活用して実験観測分析手法の洗練に注力した.具体的には次のとおりである.屋外長期設置が可能な16チャネルマイクアレイの試用.最新の次元圧縮手法を元にした大量のデータにおいても適用可能な識別・定位,教師なし分類手法を検討した.Webベースの録音分析ツールの試作を行った.多数のマイクアレイによる統合的な個体間相互作用分析手法の検討のため,屋外テント内での複数のキンカチョウの鳴き声相互作用を観測・分析した.音源定位方向を反映した疑似色スペクトログラムによる音風景の可視化や,鳥類とセミに関する鳴き声観測手法の検討等を行った.複数マイクアレイを統合,野鳥種類/雌雄の聞き分けを考慮した複数野鳥の三次元追跡技術の性能向上等や,バイオフォニー・ジオフォニー・アンソロフォニーを考慮できる音景解析手法の構築と実フィールドデータによる有効性の検証を行った.国内の希少種を対象としたマイクアレイによる行動観測を複数実施した.
また,コロナ禍終息後の各調査地での調査に関して,研究補助期間の延長を含めた将来の計画について検討した.テキサス州での遠隔調査協力や,カナダでの庁舎協力についても検討を進めた.

Current Status of Research Progress
Current Status of Research Progress

4: Progress in research has been delayed.

Reason

新型コロナウイルスの影響を受けて,現地に出向いての海外調査活動が中断中であるのは想定外であり,この点において研究に大きく遅れが生じている.また,コロナ禍等を踏まえてインドネシアでの調査が難しくなど,共同研究先の状況にも変化があった.今後の調査・研究協力が可能な体制を見極めつつ柔軟な対応(収束後の調査への準備,観測・分析手法の開発への注力)が必要な状況にある.

Strategy for Future Research Activity

今後は,状況が改善し一部でも海外渡航が可能になることを前提に,海外調査時の観測機材の試用と分析手法の試行を国内拠点において着実に進めつつ,録音データの比較検討のための土台を構築する.現段階において,カリフォルニアでの現地調査が実施可能な見込みであり,特にプレイバック実験を中心として集中的にデータ収集取り組み,効率的に手法と生態的知見の検討がともに可能な方法を検討する.屋外設置型16チャネルマイクアレイによる観測に加え,観測データのとりまとめ,識別・定位,教師なし分類手法の検討等を進める.録音データの分析・管理を容易にするための音源定位・分離・分析システムの再検討も進める.
上記の状況を踏まえ,研究期間の延長を念頭に置いて,各海外調査地の共同研究者と今後に向けた方針を状況変化に合わせて調査内容の詳細を検討し,プレイバック実験,縄張り可視化,生物多様性指標の開発等,異なるスケールに注目した鳥類生態観測手法の開発と試行を進める.また,可能な場合は新規共同研究先との遠隔での観測を検討する.

Causes of Carryover

新型コロナウイルスの影響により海外現地調査が不可能になり,次年度以降に延期を余儀なくされたため,代表者・分担者ともに旅費,および,機材整備費等の多くを繰り越すこととなった.今後も,研究期間の延長も念頭に置いて,収束後の調査開始に向けた準備や分析の拡充に充てる予定である.

  • Research Products

    (29 results)

All 2022 2021 Other

All Int'l Joint Research (2 results) Journal Article (3 results) (of which Peer Reviewed: 3 results,  Open Access: 1 results) Presentation (23 results) (of which Int'l Joint Research: 6 results,  Invited: 6 results) Remarks (1 results)

  • [Int'l Joint Research] University of California, Los Angeles/University of California, Berkeley/University of North Texas(米国)

    • Country Name
      U.S.A.
    • Counterpart Institution
      University of California, Los Angeles/University of California, Berkeley/University of North Texas
  • [Int'l Joint Research] Tilburg University(オランダ)

    • Country Name
      NETHERLANDS
    • Counterpart Institution
      Tilburg University
  • [Journal Article] Non-invasive monitoring of the spatio-temporal dynamics of vocalizations among songbirds in a semi free-flight environment using robot audition techniques2021

    • Author(s)
      Shinji Sumitani, Reiji Suzuki, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Journal Title

      Birds

      Volume: 2(2) Pages: 158-172

    • DOI

      10.3390/birds2020012

    • Peer Reviewed / Open Access
  • [Journal Article] Assessment of Sound Source Tracking Using Multiple Drones Equipped with Multiple Microphone Arrays2021

    • Author(s)
      Taiki Yamada, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Journal Title

      International Journal of Environmental Research and Public Health

      Volume: 18(17) Pages: 9039

    • DOI

      10.3390/ijerph18179039

    • Peer Reviewed
  • [Journal Article] 複数マイクロホンアレイを用いたNMFによる空間音源分離法の提案と評価2021

    • Author(s)
      鍵本 泰宏, 糸山 克寿, 西田 健次, 中臺 一博
    • Journal Title

      日本ロボット学会誌

      Volume: 39(7) Pages: 669-672

    • DOI

      10.7210/jrsj.39.669

    • Peer Reviewed
  • [Presentation] Visualizing soundscapes and quantifying interspecific interactions in forest animal vocalizations using robot audition technology2022

    • Author(s)
      Hao Zhao, Reiji Suzuki, Shinji Sumitani, Shiho Matsubayashi, Takaya Arita, Kazuhiro Nakadai, Hiroshi G. Okuno
    • Organizer
      情報処理学会第84回全国大会
  • [Presentation] 音源定位技術を用いた野外鳥類の音声相互作用の分析手法の検討2022

    • Author(s)
      鈴木麗璽, 炭谷晋司, 松林志保, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      日本生態学会第69回大会
  • [Presentation] ロボット聴覚用音響処理ソフトウェアHARKを用いたサウンドスケープの分析および考察2022

    • Author(s)
      山本遼, 西田健次, 糸山克寿, 中臺一博
    • Organizer
      第69回日本生態学会
  • [Presentation] Towards detecting birds from panorama video aided by Sound Source Localization2022

    • Author(s)
      Baidong Chu, Chihaya Matsuhira, Yasutomo Kawanishi, Marc A. Kastner, Takahiro Komamizu, Ichiro Ide, Daisuke Deguchi
    • Organizer
      メディアエクスペリエンス・バーチャル環境基礎研究会
  • [Presentation] 歩行者流を考慮した人流密度推定ニューラルネットワークの検討2022

    • Author(s)
      羽原丈博, 小島 諒介
    • Organizer
      情報処理学会第84回全国大会
  • [Presentation] 複数マイクアレイを用いたキンカチョウの時空間的発声パターンに基づく個体間相互作用の調査2021

    • Author(s)
      炭谷晋司, 鈴木麗璽, 有田 隆也, 和多和宏, 松林志保, 中臺一博, 奥乃博
    • Organizer
      第58回人工知能学会 AIチャレンジ研究会
  • [Presentation] 鳴禽類のメスのさえずりの役割の理解に向けた音源定位手法の活用に関する一検討2021

    • Author(s)
      古山諒, 鈴木麗璽, 炭谷晋司, 有田隆也
    • Organizer
      第58回人工知能学会 AIチャレンジ研究会
  • [Presentation] 野外での鳥類鳴き声観測のためのWebベース録音ユニットと可視化ツールの試作2021

    • Author(s)
      炭谷晋司, 大和祐介, 鈴木麗璽, 小島諒介, 有田隆也, 中臺一博, 奥乃博
    • Organizer
      第39回日本ロボット学会学術講演会
  • [Presentation] ヒクイナの鳴き声自動観測の可能性と今後の課題2021

    • Author(s)
      松林志保, 斎藤史之, 鈴木麗璽, 中臺一博, 奥乃博
    • Organizer
      日本鳥学会2021年度大会
  • [Presentation] Robot Audition in Rescue Robotics2021

    • Author(s)
      Kazuhiro Nakadai
    • Organizer
      2021 IEEE International Symposium on Safety Security and Rescue Robotics (SSRR)
    • Int'l Joint Research / Invited
  • [Presentation] Robot Audition 5.0: Listening to Several Things at Once and Beyond2021

    • Author(s)
      Kazuhiro Nakadai
    • Organizer
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2021)
    • Int'l Joint Research / Invited
  • [Presentation] Fully-Online Always-Adaptation of Transfer Functions and Its Application to Sound Source Localization and Separation2021

    • Author(s)
      Kazuhiro Nakadai, Masayuki Takigahira, Yusuke Kawai, Hirofumi Nakajima
    • Organizer
      IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2021)
    • Int'l Joint Research
  • [Presentation] Assessment of von Mises-Bernoulli Deep Neural Network in Sound Source Localization2021

    • Author(s)
      Katsutoshi Itoyama, Yoshiya Morimoto, Shungo Masaki, Ryosuke Kojima, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      INTERSPEECH 2021
    • Int'l Joint Research
  • [Presentation] Simultaneous Calibration of Positions, Orientations, and Time Offsets among Multiple Microphone Arrays2021

    • Author(s)
      Chishio Sugiyama, Katsutoshi Itoyama, Kenji Nishida and Kazuhiro Nakadai
    • Organizer
      IEEE 1st International Conference on Autonomous Systems (ICAS’21)
    • Int'l Joint Research
  • [Presentation] ロボット聴覚 5.0 ~変遷と展望~2021

    • Author(s)
      中臺 一博
    • Organizer
      第22回計測自動制御学会システムインテグレーション部門講演会 (SI2021)) 講演論文集
    • Invited
  • [Presentation] 複数マイクロホンアレイを用いたNMFによる空間音源分離法の残響下での評価2021

    • Author(s)
      鍵本 泰宏, 糸山 克寿, 西田 健次, 中臺 一博
    • Organizer
      第58回人工知能学会回人工知能学会 AI チャレンジ研究会
  • [Presentation] 伝達関数の常時オンライン適応による音源定位・分離の向上2021

    • Author(s)
      中臺 一博, 瀧ケ平 雅行, 河合 熊輔, 中島 弘史
    • Organizer
      第58回人工知能学会回人工知能学会 AI チャレンジ研究会
  • [Presentation] Numerical Evaluation of 3D Sound Source Tracking Methods for Drones with Microphone Arrays2021

    • Author(s)
      Taiki Yamada, Katsutoshi Itoyama, Kenji Nishida, Kazuhiro Nakadai
    • Organizer
      第39回日本ロボット学会学術講演会
  • [Presentation] 複数マイクロホンアレイの同期および3次元位置・姿勢推定の同時最適化の検討2021

    • Author(s)
      杉山 地塩, 糸山 克寿, 西田 健次, 中臺 一博
    • Organizer
      第39回日本ロボット学会学術講演会
  • [Presentation] 類似度行列を考慮した野鳥の歌自動識別の検討2021

    • Author(s)
      山本 遼, 中臺 一博, 西田 健次, 糸山 克寿
    • Organizer
      第39回日本ロボット学会学術講演会
  • [Presentation] ロボット聴覚・音環境理解研究とその展開2021

    • Author(s)
      中臺 一博
    • Organizer
      生理研研究会「人工知能技術と科学の協調と展開」
    • Invited
  • [Presentation] 鳥類学におけるロボット技術やAIの関わり2021

    • Author(s)
      森本 元
    • Organizer
      第58回人工知能学会回人工知能学会 AI チャレンジ研究会
    • Invited
  • [Presentation] Session: signal processing of animal vocalisations/AI/robotics" invited discussant2021

    • Author(s)
      Reiji Suzuki
    • Organizer
      3rd International Workshop on Vocal Interactivity in-and-between Humans
    • Int'l Joint Research / Invited
  • [Remarks] 研究代表者Webページ

    • URL

      http:/www.alife.cs.i.nagoya-u.ac.jp/~reiji/

URL: 

Published: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi