A study of a deep learning method based on simple annotation that enables visualization of the atmosphere of tourist attractions
| Project/Area Number |
20K12079
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (C)
|
| Allocation Type | Multi-year Fund |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62020:Web informatics and service informatics-related
|
|---|
| Research Institution | Okayama University |
|---|
Principal Investigator |
Hara Sunao 岡山大学, ヘルスシステム統合科学学域, 助教 (50402467)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Completed (Fiscal Year 2022)
|
| Budget Amount *help |
¥4,290,000 (Direct Cost: ¥3,300,000、Indirect Cost: ¥990,000)
Fiscal Year 2022: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2021: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
Fiscal Year 2020: ¥1,690,000 (Direct Cost: ¥1,300,000、Indirect Cost: ¥390,000)
|
|---|
| Keywords | サウンドスケープ / 地域特性 / 可視化 / 音響シーン分類 / 深層学習 / 弱ラベル教師あり学習 / 環境音検出 / 地域特性の推定 / 地域特性の可視化 |
|---|
| Outline of Research at the Start |
本研究課題では，観光地の雰囲気可視化を可能とする簡易なアノテーションに基づく深層学習方式に関する研究を行う．
可視化のために，環境音を入力とした深層学習モデルを学習し，地域の雰囲気の推定器を作成する．
一般には，精確なアノテーションを教師として深層学習を行うが，本研究ではより簡易なアノテーションのみを教師に用いて学習を行う方式を研究する．
本研究の特徴は，（１）深層学習に必要な環境音とアノテーションを収集する方式を確立し，（２）簡易なアノテーションを教師として環境音のみから地域の雰囲気を推定する方式を研究し，（３）具体事例として観光地の雰囲気を可視化するシステムを構築し，評価する．
|
| Outline of Final Research Achievements |
In order to parameterize area characteristics, the concept of soundscape, which is standardized in ISO 12913, was adopted. By presenting images from Google's Street View at the same time as listening to environmental sounds, we annotated the impression and atmosphere of a place that is not dependent on sound alone.
Then, we conducted experiments on a DNN-based predictor for area characteristics based on sound. The prediction accuracy is improved by using sound source information as input. Moreover, we confirmed that the accuracy is improved by using aerial photographs, which can be automatically obtained from location information, instead of manual sound source information.
Finally, we also studied adaptive methods for machine learning models based on concept drift.
|
| Academic Significance and Societal Importance of the Research Achievements |
地域特性を表現するために，サウンドスケープの考え方を取り入れた．標準化された仕様を採用することは，より広範なデータ収録を容易とする．人の主観に基づくデータ収集において，基準がわかりやすいことは重要である．
DNNに基づく地域特性の推定器は，音データさえ収録できれば，人手による詳細アノテーションが十分に無くとも，自動的に取得可能な情報源から，一定の推定精度が得られる．DNNには，多くの学習データが必要である．簡易アノテーションのみで十分という事実は，低コストに大量データを集めるための重要な知見である．また，継続的なデータ収集とシステム運用に向け，コンセプトドリフトに基づく研究から多くの知見を得た．
|
Report
(4 results)
Research Products
(11 results)
