Research on a machine learning method for estimating atmospheres of tourist attractions from environmental sounds considering concept drift
| Project/Area Number |
23K11335
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
原 直 岡山大学, ヘルスシステム統合科学学域, 助教 (50402467)
|
|---|
| Project Period (FY) |
2023-04-01 – 2027-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥4,680,000 (Direct Cost: ¥3,600,000、Indirect Cost: ¥1,080,000)
Fiscal Year 2026: ¥1,040,000 (Direct Cost: ¥800,000、Indirect Cost: ¥240,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2023: ¥1,300,000 (Direct Cost: ¥1,000,000、Indirect Cost: ¥300,000)
|
|---|
| Keywords | 音環境理解 / サウンドスケープ / コンセプト・ドリフト / スマートデバイス / 機械学習 / 音イベント検出 |
|---|
| Outline of Research at the Start |
観光地の雰囲気可視化の実用化を目指し，経年変化や推定対象の変化に頑健な機械学習方式に関する研究を行う．本研究では，環境音から音環境の情報を機械学習により推定し，その推定した情報に基づいて音環境の可視化をする．これまでにも，機械学習による音環境の推定方式は様々に研究されてきたが，過去の特定時期の学習データだけに依存した機械学習モデルが，未来永劫使えるようなことはあり得ない．このような問題はコンセプト・ドリフトとして知られている．本研究は，コンセプト・ドリフトを考慮した環境音からの雰囲気推定モデルの逐次学習方式の確立と，観光地の雰囲気の変化を捉えながら環境音を可視化するシステムの構築を目指す．
|
| Outline of Annual Research Achievements |
本研究課題では，観光地の雰囲気可視化の実用化を目指し，経年変化や推定対象の変化に頑健な機械学習方式に関する研究を行う．
当年度は，環境音とアノテーションの同時収集に関する研究と，機械学習を用いて主観的な評価値を推定する方式についての研究を整理し，国際会議Inter-noise 2023にて報告した．この成果を発展させた内容は，現在，学術論文誌に投稿しており，その査読結果に基づく修正を進めている段階である．
また，畳み込みニューラルネットワーク (CNN: Convolutional Neural Network) と 変分自己符号化器 (CAE: Variational AutoEncoder) を併用して環境音から音響イベント検出する研究と，深層ニューラルネットワーク (DNN: Deep Neural Network) を用いてサウンドスケープに基づく SSQP (Swedish Soundscape-Quality Protocol) 指標を推定する研究についても，内容の整理と新しいデータに基づく実験結果を加えて，同国際会議Inter-noise 2023で報告した．やや独立した2つの研究として進めていた内容ではあるが，今後，両者を融合することでより高度な推定方式にすることを目指しており，同論文ではその可能性について議論した．
また，発表や論文執筆を進めていく中で，基礎的な方式に関する実験プログラムの整理を進めてきた．また，環境音データの管理方法も見直すことで，コンセプト・ドリフトに関する研究を進めるために必要な時間の経過も意識したデータ管理を進めた．
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
初年度ということもあり，これまでの実験成果の整備を優先し，そのための研究成果発表も行った．
一方で，学内異動に伴う新研究室の準備を同時で進めていたこともあり，検討段階にとどまっている内容も残されており，研究発表につながる成果としての実現に至っていない内容もある．しかし，これらの検討やデータの準備は，次年度以降の研究を進めるために必須の内容であると考えており，現段階ではおおむね順調に進展していると判断している．
|
| Strategy for Future Research Activity |
(1)コンセプト・ドリフトの有無を検出する機械学習方式を検討する．これまでに代表者のグループで研究を進めてきたCMGMMを用いた方式をベースラインとして，近年のニューラルネットワーク型の検出器の導入を検討する．まずは，既存方式と同様にシミュレーションにより生成した環境音データを利用して，検討を進める．その後，過去の研究課題で収集した実データもシミュレーションに用いる方式も検討を進める．
(2)地域特性を分かりやすく可視化するため，SSQPで得られる8種類の指標を地図上にマッピングする方式を検討する．マッピング方法としては，色やアイコン等による表示をベースとする．
|
Report
(1 results)
Research Products
(2 results)
