情報学と神経科学を融合した音楽コンテンツに対する嗜好の推定・活用・制御技術の研究
| Project/Area Number |
21H04917
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (A)
|
| Allocation Type | Single-year Grants |
|---|
| Section | 一般 |
|---|
| Review Section |
Medium-sized Section 62:Applied informatics and related fields
|
|---|
| Research Institution | National Institute of Advanced Industrial Science and Technology |
|---|
Principal Investigator |
後藤 真孝 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 首席研究員 (20357007)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
古屋 晋一 一般社団法人NeuroPiano(研究開発部), 研究開発部, シニアリサーチャー (20509690)
濱崎 雅弘 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ付 (50419016)
中野 倫靖 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (10572927)
加藤 淳 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70738054)
佃 洸摂 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40760020)
渡邉 研斗 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50828324)
|
|---|
| Project Period (FY) |
2021-04-05 – 2024-03-31
|
| Project Status |
Granted (Fiscal Year 2023)
|
| Budget Amount *help |
¥42,250,000 (Direct Cost: ¥32,500,000、Indirect Cost: ¥9,750,000)
Fiscal Year 2023: ¥13,520,000 (Direct Cost: ¥10,400,000、Indirect Cost: ¥3,120,000)
Fiscal Year 2022: ¥13,520,000 (Direct Cost: ¥10,400,000、Indirect Cost: ¥3,120,000)
Fiscal Year 2021: ¥15,210,000 (Direct Cost: ¥11,700,000、Indirect Cost: ¥3,510,000)
|
|---|
| Keywords | 音楽情報処理 / 嗜好推定 / 鑑賞支援 / 創作支援 / 音楽解析 / 音楽推薦 |
|---|
| Outline of Research at the Start |
本研究では、音楽コンテンツ（楽曲や音楽動画）に対する個人の嗜好（好き嫌い）を推定し、それを鑑賞支援・創作支援に活用する方法を明らかにすることに加え、個人の嗜好を改変・防御するような制御ができる可能性があることを示す。そのために、情報学に基づくアプローチで音楽聴取履歴に加えて音楽解析結果も活用して嗜好を推定し、さらに、神経科学に基づくアプローチで生理計測指標から嗜好を推定する新たな手法を実現する。
|
| Outline of Annual Research Achievements |
本研究課題では、情報学（特に音楽情報処理、音響信号処理、機械学習、情報推薦、ヒューマンコンピュータインタラクション）と神経科学を融合したアプローチによって、音楽コンテンツ（楽曲や音楽動画）に対する個人の嗜好（好き嫌い）を推定する方法を実現し、推定した嗜好の有用性を、音楽コンテンツの鑑賞支援等の目的に活用して実証すること等を目指している。
2年目の2022年度は、前年度に着手した「嗜好の推定」と「嗜好の活用」に継続して取り組んだ。情報学に基づくアプローチとして、音楽コンテンツに対する嗜好を推定する技術を発展させるために、自己教師あり対照学習の枠組みを利用して、音楽音響信号の距離学習のためのいくつかの手法を提案・実現した。たとえば、IEEE/ACM Transactions on Audio, Speech and Language Processingに採択された論文成果は、自己教師あり対照学習による歌声の特徴量表現獲得手法を実現し、楽曲中の歌声の類似度をより的確に推定することを可能にした。また、歌声以外も含む楽曲全体の距離学習手法も実現した。さらに、嗜好を活用して音楽推薦が可能な個人適応型の鑑賞支援インタフェースを実現し、前年度から開発中の独自の音楽推薦手法を、データ規模を拡大しつつ、音楽サービス上に組み込んでユーザによる利用を可能にした。
一方、神経科学に基づくアプローチとして、簡易生理指標データに基づく音楽の嗜好推定のためのモデル開発に取り組み、得られた成果の一部を国際会議ISMIR 2022のLate-Breaking/Demo Sessionで発表した。また、生理計測実験とfMRIによる非侵襲脳機能計測実験の二つを被験者毎に同じ楽曲群で行って取得できるペアデータを機械学習するために、その同時計測実験をパイロット実験実施後に42名の被験者を対象に実施し、データ解析をした。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
2022年度は「嗜好の推定」と「嗜好の活用」を中心に順調に取り組み、情報学に基づくアプローチでは、楽曲に対する個人の嗜好を推定する技術を発展させるために、自己教師あり対照学習に基づく音楽音響信号の距離学習の手法を実現できた。さらに、嗜好を活用した音楽推薦に基づく鑑賞支援インタフェースを実現し、音楽サービス上に組み込む社会実装を含む研究開発を進めることができた。神経科学に基づくアプローチでは、fMRIによる脳機能計測と簡易生理計測の同時計測実験が既に実施できており、fMRI実験の結果から、聴取した音楽の嗜好に対応して、脳の報酬系ネットワークの一部である側坐核の活動の増大が認められたため、音楽に対する嗜好のニューロマーカとして用いて、簡易生理指標から側坐核の賦活の大きさを予測する機械学習モデルの開発が進んでいる。以上から、本研究課題は、おおむね順調に進展している。
|
| Strategy for Future Research Activity |
これまでに楽曲に対する個人の嗜好を推定する方法を実現する「嗜好の推定」の課題と、推定した嗜好を音楽コンテンツの鑑賞支援等の目的に活用する「嗜好の活用」の課題の成果を中心に創出してきたが、個人の嗜好を改変・防御するような制御ができる可能性を検討する「嗜好の制御」の課題も含めて研究開発を進めていく。本研究課題の最終年度となる2023年度の研究開発として、情報学に基づくアプローチでは、既に音楽サービス上に組み込んだ音楽の嗜好の推定に基づく音楽推薦手法を発展させつつ、音楽の嗜好に関連した可視化技術等を実現する。神経科学に基づくアプローチでは、2022年度に取得した音楽嗜好に関連する脳機能計測・生理計測データを用いて、音楽に関する嗜好を簡易生理指標から推定する機械学習モデルを構築する。さらに嗜好の制御に関連したフィードバックトレーニングシステムの開発にも取り組む。
|
Report
(3 results)
Research Products
(9 results)
