2021 Fiscal Year Annual Research Report

情報学と神経科学を融合した音楽コンテンツに対する嗜好の推定・活用・制御技術の研究

Research Project

Project/Area Number	21H04917
Research Institution	National Institute of Advanced Industrial Science and Technology
Principal Investigator	後藤真孝国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 首席研究員 (20357007)
Co-Investigator(Kenkyū-buntansha)	古屋晋一上智大学, 上智大学, 准教授 (20509690) 濱崎雅弘国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ付 (50419016) 中野倫靖国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (10572927) 加藤淳国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70738054) 佃洸摂国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40760020) 渡邉研斗国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50828324)
Project Period (FY)	2021-04-05 – 2024-03-31
Keywords	音楽情報処理 / 嗜好推定 / 鑑賞支援 / 音楽推薦
Outline of Annual Research Achievements	本研究課題では、情報学（特に音楽情報処理、音響信号処理、機械学習、情報推薦、ヒューマンコンピュータインタラクション）と神経科学を融合したアプローチによって、音楽コンテンツ（楽曲や音楽動画）に対する個人の嗜好（好き嫌い）を推定する方法を実現し、推定した嗜好の有用性を、音楽コンテンツの鑑賞支援等の目的に活用して実証すること等を目指している。そこで2021年度は、まず、嗜好の推定に取り組み、情報学に基づくアプローチとして、音楽コンテンツに対する嗜好をモデル化して推定するために、音楽サービス上で実際に多数のユーザがどの楽曲群を好きだと入力したかという大規模な嗜好データを解析した。個人の嗜好を推定して個人適応した音楽推薦に基づく鑑賞支援を実装して活用する準備として、そのデータを嗜好行列（行と列がユーザと楽曲に対応する行列）で表現し、ベースライン手法として典型的な行列分解に基づく推薦手法BPRMFを実装した。それに対して、音楽音響信号から自動推定可能な音楽特徴空間における楽曲間の音楽類似度に基づく類似度行列と、各楽曲をどのクリエータが作ったかを表現した従属関係行列も用いる推薦手法を実現し、嗜好行列のみを用いるよりも推薦精度が高くなることを確認した。音楽特徴空間構築に関連して、自己教師あり対照学習に基づく音楽音響信号の距離学習の手法も実現し、論文投稿した。一方、神経科学に基づくアプローチとして、脳機能計測なしに簡易生理計測だけで嗜好の推定を可能にすることを目指した準備段階として、音楽刺激の提示と呼吸・心拍数・発汗・瞳孔径の同時計測を実施可能なシステムを開発した後、異なる音楽刺激を聴取する生理計測実験を実施した。そして、得られたデータの信号処理・統計処理の解析パイプラインを作成した。またfMRI実験の準備として、主に刺激提示のシステム開発と、先行研究の調査、実験デザインの構築に取り組んだ。
Current Status of Research Progress	Current Status of Research Progress 2: Research has progressed on the whole more than it was originally planned. Reason 2021年度は嗜好の推定を中心に順調に取り組み、情報学に基づくアプローチでは、音楽コンテンツ（楽曲や音楽動画）に対する個人の嗜好（好き嫌い）を推定する方法を実現し、音楽コンテンツの鑑賞支援等の目的に活用するための研究開発を進めることができた。神経科学に基づくアプローチでは、コロナ禍により2021年度はヒトを対象とした実験が困難であったが、2022年度への繰越要件を満たして承認を得ることができたおかげで、主に簡易生理計測のための実験系の構築・テストとデータ収録を実施することができた。以上から、本研究課題は、おおむね順調に進展している。
Strategy for Future Research Activity	これまでに楽曲に対する個人の嗜好を推定する方法を実現する「嗜好の推定」の課題と、推定した嗜好を音楽コンテンツの鑑賞支援等の目的に活用する「嗜好の活用」の課題に順調に着手したが、今後もそれらに継続的に取り組むことで技術を発展させていく。情報学に基づくアプローチでは、自己教師あり対照学習に基づく音楽音響信号の距離学習のための手法や、嗜好を活用して音楽推薦が可能な個人適応型の鑑賞支援インタフェース等の研究開発を進め、実際に音楽サービス上に独自の音楽推薦手法を組み込んでユーザによる利用を可能にする。神経科学に基づくアプローチでは、2021年度に開発を進めた実験システムを用いた簡易生理計測実験の実施とデータ解析および結果の考察に取り組むと共に、音楽の嗜好推定のためのfMRIと簡易生理計測の同時計測実験等に取り組む。