2018 Fiscal Year Annual Research Report
Outdoor Scene Understanding for Bird Song Analysis
| Project/Area Number |
16K00294
|
|---|
| Research Institution | Tokyo Institute of Technology |
|---|
Principal Investigator |
中臺 一博 東京工業大学, 工学院, 特任教授 (70436715)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
鈴木 麗璽 名古屋大学, 情報学研究科, 准教授 (20362296)
小島 諒介 京都大学, 医学研究科, 特定助教 (70807651)
|
|---|
| Project Period (FY) |
2016-04-01 – 2019-03-31
|
| Keywords | 鳥の歌の解析 / 音環境理解 / ロボット聴覚 / マイクロホンアレイ処理 / 音源識別 / 深層学習 |
|---|
| Outline of Annual Research Achievements |
平成２９年度までに構築した手法を発展、および統合する形で最終年度である平成３０年度の研究を進めた．
具体的には，低次情報の抽出に関しては，これまでの二次元定位法を発展させて，複数マイクロホンアレイを用いた高性能な三次元音源定位手法を開発し，その利用に際したガイドラインを策定した．環境音から複数のマイクロホンアレイの位置校正法については，従来の事前情報が必要な手法を発展させ同時確率モデルによる自動校正手法を考案した．
音響理解の枠組み構築については，前年度構築した畳み込みニューラルネットワーク（ＣＮＮ）に基づくＧＰＵ版リアルタイム深層学習野鳥歌分類器の評価を行い，国際学会で発表した．また，マイクロホンアレイ処理で生じる歪みを回復する双方向長期短期記憶（Ｂｉ‐Ｄｉｒｅｃｔｉｏｎａｌ Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）を開発，分離歪みを８０％程度回復することができることを示し，その有効性を国際学会で発表した．さらに，音環境理解のフレームワークとして昨年度開発したＨＡＲＫＢｉｒｄをウグイスを対象にしたプレイバック実験に適用し分析を実施した．分析結果は国際ジャーナル誌に採録された．
使いやすいシステムの構築については，これまで開発した音源定位，音源識別手法を統合したＨＡＲＫ－ＶＲシステムとして構築した．このシステムは複数のマイクロホンアレイからの入力信号のみを用いた仮想現実（ＶＲ）ベースのシーン再構成システムであり，直感的に制御可能なUIを有しているため，ユーザの操作に応じて，フレキシブルに野鳥の歌のシーン再構築することができる．以上より，本研究課題で目標とした音響理解の枠組みの最低限の構築は実現できたと考える．
|
