情報学と神経科学を融合した音楽コンテンツに対する嗜好の推定・活用・制御技術の研究

2023 年度 実績報告書

• 研究課題/領域番号: 21H04917
• 研究機関: 国立研究開発法人産業技術総合研究所
• 研究代表者: 後藤 真孝 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 首席研究員 (20357007)
• 研究分担者: 古屋 晋一 一般社団法人NeuroPiano(研究開発部), 研究開発部, シニアリサーチャー (20509690) ; 濱崎 雅弘 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ付 (50419016) ; 中野 倫靖 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (10572927) ; 加藤 淳 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70738054) ; 佃 洸摂 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40760020) ; 渡邉 研斗 国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50828324)
• 研究期間 (年度): 2021-04-05 – 2024-03-31
• キーワード: 音楽情報処理 / 嗜好推定 / 鑑賞支援 / 音楽推薦

研究実績の概要

本研究課題では、情報学（特に音楽情報処理、音響信号処理、機械学習、情報推薦、ヒューマンコンピュータインタラクション）と神経科学を融合したアプローチによって、音楽コンテンツ（楽曲や音楽動画）に対する個人の嗜好（好き嫌い）を推定する方法を実現し、推定した嗜好の有用性を、音楽コンテンツの鑑賞支援等の目的に活用して実証すること等を目指している。
本研究課題の最終年度となる2023年度は、「嗜好の推定」「嗜好の活用」「嗜好の制御」の三つの課題すべてに取り組んだ。情報学に基づくアプローチとして、既に2022年度までに音楽サービス上に組み込んだ音楽の嗜好の推定に基づく独自の音楽推薦手法を発展させつつ、そのサービスがユーザに利用される過程で推定した嗜好を活用し、様々なユーザの嗜好と多数の楽曲との関係を可視化できる新たな鑑賞支援インタフェースを実現した。さらに、嗜好が日々変化していくことが可視化結果に反映されるようにした。
一方、神経科学に基づくアプローチとして、2022年度までに取得した音楽嗜好に関連する脳機能計測・生理計測データを用いて、音楽に関する嗜好を簡易生理指標から推定するモデルを構築した。分析手法Representational Similarity Analysis (RSA)を用いて、心拍および呼吸に関する特徴量から嗜好を説明することを可能にする研究成果を創出したので、それを学術論文として投稿する準備を進めた。また、嗜好の制御に関連したフィードバックトレーニングシステムのプロトタイプとして、簡易生理指標から推定した嗜好を可視化提示可能なシステムを開発した。
情報学に基づく音楽推薦や神経科学に基づく脳機能計測・生理計測によって音楽の嗜好を推定した上で、音楽サービスで活用可能にすることは重要だが、さらにユーザ自身がその推定結果を可視化等を通じて把握可能にすることは今後一層重要になる。

現在までの達成度 (段落)

令和5年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和5年度が最終年度であるため、記入しない。

研究成果

• [雑誌論文] MDX-Mixer: Music Demixing by Leveraging Source Signals Separated by Existing Demixing Models (2024)
  • 著者名/発表者名: Tomoyasu Nakano, Masataka Goto
  • 雑誌名: IEICE Transactions on Information and Systems 巻: E107-D ページ: －
  • DOI: 10.1587/transinf.2023EDP7044
  • 査読あり / オープンアクセス
• [学会発表] 複数人による音楽アノテーション結果の項目反応理論に基づく統合と機械学習への応用 (2024)
  • 著者名/発表者名: 中野 倫靖, 後藤 真孝
  • 学会等名: 情報処理学会 音楽情報科学研究会
• [学会発表] ダイナフォーミックス：音楽を創造する喜びを創出する研究・開発・教育 (2023)
  • 著者名/発表者名: 古屋 晋一
  • 学会等名: 音学シンポジウム2023 (情報処理学会 音楽情報科学研究会)
  • 招待講演
• [学会発表] Overcoming the Ceiling Effect in Musicians (2023)
  • 著者名/発表者名: Shinichi Furuya
  • 学会等名: ICMPC 2023 Symposium "Adaptive and maladaptive learning in musicians"
  • 国際学会
• [学会発表] Decoding Drums, Instrumentals, Vocals, and Mixed Sources in Music Using Human Brain Activity (2023)
  • 著者名/発表者名: Vincent Cheung, Lana Okuma, Kazuhisa Shibata, Kosetsu Tsukuda, Masataka Goto, Shinichi Furuya
  • 学会等名: Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
  • 国際学会
• [学会発表] Transformer-based Beat Tracking with Low-resolution Encoder and High-resolution Decoder (2023)
  • 著者名/発表者名: Tian Cheng, Masataka Goto
  • 学会等名: Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
  • 国際学会
• [学会発表] Unveiling the Impact of Musical Factors in Judging a Song on First Listen: Insights from a User Survey (2023)
  • 著者名/発表者名: Kosetsu Tsukuda, Tomoyasu Nakano, Masahiro Hamasaki, Masataka Goto
  • 学会等名: Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
  • 国際学会
• [学会発表] Chorus-Playlist: Exploring the Impact of Listening to Only Choruses in a Playlist (2023)
  • 著者名/発表者名: Kosetsu Tsukuda, Masahiro Hamasaki, Masataka Goto
  • 学会等名: Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
  • 国際学会
• [学会発表] Music Source Separation with MLP Mixing of Time, Frequency, and Channel (2023)
  • 著者名/発表者名: Tomoyasu Nakano, Masataka Goto
  • 学会等名: Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
  • 国際学会
• [学会発表] A Music Exploration Interface Based on Vocal Timbre and Pitch in Popular Music (2023)
  • 著者名/発表者名: Tomoyasu Nakano, Momoka Sasaki, Mayuko Kishi, Masahiro Hamasaki, Masataka Goto, and Yoshinori Hijikata
  • 学会等名: Proceedings of the 16th International Symposium on Computer Music Multidisciplinary Research (CMMR 2023)
  • 国際学会