2020 Fiscal Year Annual Research Report
ロボット聴覚技術に基づく鳥類の歌行動における相互作用理解
| Project/Area Number |
20J13695
|
|---|
| Research Institution | Nagoya University |
|---|
Principal Investigator |
炭谷 晋司 名古屋大学, 情報学研究科, 特別研究員(DC2)
|
|---|
| Project Period (FY) |
2020-04-24 – 2022-03-31
|
| Keywords | キンカチョウ / ロボット聴覚技術 / 変分オートエンコーダ / 個体識別 |
|---|
| Outline of Annual Research Achievements |
鳥類にとって鳴き声は，縄張りの主張や求愛，社会結合の維持等に用いられる重要な意思伝達手段である．本研究は，歌う鳥類集団を音を介して作用し合う複雑系と捉え，マイクアレイによる録音から音の到来方向を推定可能なロボット聴覚技術を活用し，鳥類集団の鳴き声に基づく時間・空間・音響的相互作用の多様性のダイナミクスを観測する技術を構築し，さらに進化モデルとも融合することでその適当的意義の理解を目指すものである．
本研究の目的は，ロボット聴覚技術を活用して鳥類集団の音声コミュニケーションにおける個体間関係の多様性のダイナミクスやその適応的意義の理解へ貢献することである． 具体的には，音声学習のモデル生物であるキンカチョウを対象種として，屋外テント内に複数の個体を放ち，その時の鳴き合う様子を複数のマイクアレイを用いて録音を行う．複数のマイクアレイからの音源到来情報と分離音源の情報を統合し，各個体がいつ・どこで・どのように鳴いたかを詳細に抽出可能な観測技術の構築を目指す．本年度は，以下の取り組みの注力した．まず，録音データの取得であるが，コロナ禍において出張が制限される場面でも実験を行えるよう，ネットワークを介して制御可能な独立型の録音システムを開発し，本システムを用いて雌雄や個体数を変更して実験を行い，個体間相互作用の分析に十分な録音データを取得した．また，これまで生じていた音源定位に関する課題の解決を目指し，マイクアレイの情報を場所に応じて統合方法を適宜変更する手法を検討することで，詳細な音源定位結果の取得を実現した．さらに，個体識別の検討として，従来手法を含めいくつかの機械学習・深層学習を検討して発展させることで，2個体間での歌と地鳴きに関する自動個体識別が可能にした．その他，鳥類の鳴き声に関する音風景の可視化など，今後の個体間相互作用の理解を見据えた取り組みに関しても，手ごたえを得た．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
今年度は，共同研究先である北海道大学和多准教授のもとで，テント内キンカチョウのマイクアレイによる長期録音観測実験を行う計画であった．年度初めからのコロナ禍により移動が大きく制限される中であったが，遠隔操作の可能な録音システムの構築・実験計画を入念に練り，対策に万全を期した上で滞在し，集中的に録音調査を行うことで，期待するデータを得ることに成功した．
また，実験によって得られた様々な条件下における複数のキンカチョウの鳴き声相互作用に関する膨大で録音データについて，以前から研究・開発を続けてきた二次元音源定位手法を試行し，従来手法における課題を解決することで，より詳細な鳴き声位置の抽出に成功し，また，従来手法を含めいくつかの機械学習・深層学習を検討して発展させることで，2個体間での歌と地鳴きに関する自動個体識別が可能にした．この進展は，本研究において特に超えるべき課題であり，予備的段階はあるものの，今後の膨大なデータに対する適用によって，キンカチョウの社会相互作用に関して従来にない分析手法の確立や新たな知見が得られる可能性があるといえる．また，上記の基礎的手法に関しての論文執筆や，キンカチョウ相互作用の理解への応用を見据えた鳥類の鳴き声音風景可視化にも取り組み，手ごたえを得ている．
以上を総合し，本研究はおおむね順調に進展しているといえる．
|
| Strategy for Future Research Activity |
今年度は一昨年度，昨年度実施の録音の分析に注力する．この録音は，個体数・雌雄様々な組み合わせで実験をしており，個体の関係の違いによって鳴き声の分布や相互作用に変化がみられることが期待される．具体的な分析としては，次の2つを考える．1つ目は，鳴き声の分布にどのような傾向があるかを調査することである．この分析では，歌と地鳴きに着目して，個体の組み合わせを変えたときに歌，地鳴きの分布に違いかあるかどうか確認する．例えば，1羽を放鳥したときは餌場で歌を鳴きがちであった個体が，2羽になると特定の巣で歌を鳴くようになり，また地鳴きは2羽が一緒になって鳴くという異なる傾向が観測されている．現在は2試行の組み合わせのみで分析しているが，他の組み合わせでも同様の分析を行い，それらの全体の傾向を調査する． 2つ目は，鳴き声のタイミングや種類・空間的位置を個体ごとに調査することで相互作用としてどのような傾向があるかを調査することである．これは，地鳴きの個体識別の実現が必須であるので，まずこの検討に注力する．歌の分類は生成モデルの１つである変分オートエンコーダにより実現できており，地鳴きに関してもその拡張モデルや学習データの加工などを検討することで実現を目指す．その後，抽出された鳴き声に関する情報を用いて時間・空間・音響の次元の関係を調査する．時間関係には移動エントロピー，空間関係の抽出には音源の定位位 置情報，音響関係にはVAEの潜在空間上の空間距離などを活用する．
さらに，フィールド環境での観測も平行して行い，録音システムの改良を目指す．繁殖期や環境等の関係から，４月～６月の間に実施する．これまで，本録音システムの実践的利用は屋外テントでのみであったため，実際のフィールドでの検証を行う．具体的には，どのくらいの範囲まで適応可能か，何台のシステムでの運用が適当かなどを調査する．
|
