2021 Fiscal Year Research-status Report
観光地の雰囲気可視化を可能とする簡易なアノテーションに基づく深層学習方式の研究
| Project/Area Number |
20K12079
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
原 直 岡山大学, ヘルスシステム統合科学学域, 助教 (50402467)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Keywords | サウンドスケープ / 地域特性 / 可視化 / 音響シーン分類 |
|---|
| Outline of Annual Research Achievements |
課題1に関連して，これまでに収録を行っていたデータ約800個に対して，1名による詳細なアノテーション付与を行った．課題3で検討した項目に準じて付与を行った．アノテーションのための環境音聴取時には，ストリートビューの映像も同時に提示することで，音だけに依存しない場の印象や雰囲気をアノテーションすることとした．
課題2に関連して，課題1で得られたデータを利用し，単純なDNN方式による地域特性の分類を行った．分類器には，音源情報を入れることで，地域特性の推定精度が上がる．このとき，人手でつけた音源情報ではなく，音響信号と航空写真から推定した音源情報によっても，人手の情報と同程度の推定精度が得られることを示した．これにより，詳細アノテーションに比肩する情報を，簡易アノテーションに付加情報を与えることで得られる可能性が示唆された．さらに，Concept Driftに基づく適応方式の研究を進めた．
課題3に関連して，昨年度に引き続き，ISO12913のサウンドスケープとしての考え方に基づいた研究を進めた．地域特性を表現するアノテーションとして，8種類の評価軸を用いることとした．ただし，人手の評価によるばらつきも考慮し，8つの評価軸から，より簡潔に表現することができる2種の評価軸で表す方式を採用し，課題2における推定方式の検討を進めた．
課題2に挙げたConcept Driftの考え方を取り入れた研究として，国際会議1件，論文誌1件の発表をおこなった．また，各課題にて挙げた内容に基づき，国内会議2件の発表をおこなった．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
課題1について，1名による詳細なアノテーション付与を行っており，その方式の拡張を検討している．また，少人数での音響データ収録を進めるため，機材の導入と収録方法との検討を進めている．ただし，昨年度と同様COVID-19の状況下のため，大規模なデータ収録やアノテーションの見込みは立っていない．
課題2については，単純なDNNによる方式で，詳細アノテーションや簡易アノテーションの有無による，域特性の推定精度に関する基礎検討を行った．さらに，未発表であるが，推定方式として，CNNによる方式と並列でLSTMを用いた方式の研究も進めている．また，当初課題からの発展として，Conept Driftの概念に基づく研究を取り入れ，適時適応の方式の検討を進めている．
課題3については，昨年度に引き続き，サウンドスケープによる考え方を取り入れた形での，地域特性の表現を検討している．表現すべき特徴が増えているため，具体的な可視化方式については，検討段階である．本年度の検討で行ったように，8種類の評価軸は詳細な表現として，図的な簡易表現として2種類の評価軸を用いる方式，として検討している．
以上より，個別にやや遅れている課題もあるが，その他課題の進展を加味すれば，おおむね順調である，と考えている．
|
| Strategy for Future Research Activity |
課題1については，少人数での音響データ収録を行い，アノテーション付与を行う．その結果を，課題2や3の成果に適用し，さらに研究を深めていく．
課題2については，より精度の高い地域特性の推定方式を検討する．さらに，Concept Driftの考え方を踏まえながら，変化に追従しながら推定精度を保つ方式についての研究を進める．
課題3については，環境音地図としての表示方法を検討する．
|
| Causes of Carryover |
COVID-19の影響で多くの国際会議・国内会議がオンライン化している．一部オンライン会議参加のための機材導入などにも利用しているものの，やはり残金は大きくなっている．
今後の会議開催にもよるが，データ収集やラベル付け作業のための人件費としての利用も検討していきたい．
|
