• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

情報学と神経科学を融合した音楽コンテンツに対する嗜好の推定・活用・制御技術の研究

Research Project

Project/Area Number 21H04917
Research InstitutionNational Institute of Advanced Industrial Science and Technology

Principal Investigator

後藤 真孝  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 首席研究員 (20357007)

Co-Investigator(Kenkyū-buntansha) 古屋 晋一  一般社団法人NeuroPiano(研究開発部), 研究開発部, シニアリサーチャー (20509690)
濱崎 雅弘  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ付 (50419016)
中野 倫靖  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究グループ長 (10572927)
加藤 淳  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (70738054)
佃 洸摂  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 主任研究員 (40760020)
渡邉 研斗  国立研究開発法人産業技術総合研究所, 情報・人間工学領域, 研究員 (50828324)
Project Period (FY) 2021-04-05 – 2024-03-31
Keywords音楽情報処理 / 嗜好推定 / 鑑賞支援 / 音楽推薦
Outline of Annual Research Achievements

本研究課題では、情報学(特に音楽情報処理、音響信号処理、機械学習、情報推薦、ヒューマンコンピュータインタラクション)と神経科学を融合したアプローチによって、音楽コンテンツ(楽曲や音楽動画)に対する個人の嗜好(好き嫌い)を推定する方法を実現し、推定した嗜好の有用性を、音楽コンテンツの鑑賞支援等の目的に活用して実証すること等を目指している。
本研究課題の最終年度となる2023年度は、「嗜好の推定」「嗜好の活用」「嗜好の制御」の三つの課題すべてに取り組んだ。情報学に基づくアプローチとして、既に2022年度までに音楽サービス上に組み込んだ音楽の嗜好の推定に基づく独自の音楽推薦手法を発展させつつ、そのサービスがユーザに利用される過程で推定した嗜好を活用し、様々なユーザの嗜好と多数の楽曲との関係を可視化できる新たな鑑賞支援インタフェースを実現した。さらに、嗜好が日々変化していくことが可視化結果に反映されるようにした。
一方、神経科学に基づくアプローチとして、2022年度までに取得した音楽嗜好に関連する脳機能計測・生理計測データを用いて、音楽に関する嗜好を簡易生理指標から推定するモデルを構築した。分析手法Representational Similarity Analysis (RSA)を用いて、心拍および呼吸に関する特徴量から嗜好を説明することを可能にする研究成果を創出したので、それを学術論文として投稿する準備を進めた。また、嗜好の制御に関連したフィードバックトレーニングシステムのプロトタイプとして、簡易生理指標から推定した嗜好を可視化提示可能なシステムを開発した。
情報学に基づく音楽推薦や神経科学に基づく脳機能計測・生理計測によって音楽の嗜好を推定した上で、音楽サービスで活用可能にすることは重要だが、さらにユーザ自身がその推定結果を可視化等を通じて把握可能にすることは今後一層重要になる。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

  • Research Products

    (10 results)

All 2024 2023

All Journal Article (1 results) (of which Peer Reviewed: 1 results,  Open Access: 1 results) Presentation (9 results) (of which Int'l Joint Research: 7 results,  Invited: 1 results)

  • [Journal Article] MDX-Mixer: Music Demixing by Leveraging Source Signals Separated by Existing Demixing Models2024

    • Author(s)
      Tomoyasu Nakano, Masataka Goto
    • Journal Title

      IEICE Transactions on Information and Systems

      Volume: E107-D Pages: -

    • DOI

      10.1587/transinf.2023EDP7044

    • Peer Reviewed / Open Access
  • [Presentation] 複数人による音楽アノテーション結果の項目反応理論に基づく統合と機械学習への応用2024

    • Author(s)
      中野 倫靖, 後藤 真孝
    • Organizer
      情報処理学会 音楽情報科学研究会
  • [Presentation] ダイナフォーミックス:音楽を創造する喜びを創出する研究・開発・教育2023

    • Author(s)
      古屋 晋一
    • Organizer
      音学シンポジウム2023 (情報処理学会 音楽情報科学研究会)
    • Invited
  • [Presentation] Overcoming the Ceiling Effect in Musicians2023

    • Author(s)
      Shinichi Furuya
    • Organizer
      ICMPC 2023 Symposium "Adaptive and maladaptive learning in musicians"
    • Int'l Joint Research
  • [Presentation] Decoding Drums, Instrumentals, Vocals, and Mixed Sources in Music Using Human Brain Activity2023

    • Author(s)
      Vincent Cheung, Lana Okuma, Kazuhisa Shibata, Kosetsu Tsukuda, Masataka Goto, Shinichi Furuya
    • Organizer
      Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
    • Int'l Joint Research
  • [Presentation] Transformer-based Beat Tracking with Low-resolution Encoder and High-resolution Decoder2023

    • Author(s)
      Tian Cheng, Masataka Goto
    • Organizer
      Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
    • Int'l Joint Research
  • [Presentation] Unveiling the Impact of Musical Factors in Judging a Song on First Listen: Insights from a User Survey2023

    • Author(s)
      Kosetsu Tsukuda, Tomoyasu Nakano, Masahiro Hamasaki, Masataka Goto
    • Organizer
      Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
    • Int'l Joint Research
  • [Presentation] Chorus-Playlist: Exploring the Impact of Listening to Only Choruses in a Playlist2023

    • Author(s)
      Kosetsu Tsukuda, Masahiro Hamasaki, Masataka Goto
    • Organizer
      Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
    • Int'l Joint Research
  • [Presentation] Music Source Separation with MLP Mixing of Time, Frequency, and Channel2023

    • Author(s)
      Tomoyasu Nakano, Masataka Goto
    • Organizer
      Proceedings of the 24th International Society for Music Information Retrieval Conference (ISMIR 2023)
    • Int'l Joint Research
  • [Presentation] A Music Exploration Interface Based on Vocal Timbre and Pitch in Popular Music2023

    • Author(s)
      Tomoyasu Nakano, Momoka Sasaki, Mayuko Kishi, Masahiro Hamasaki, Masataka Goto, and Yoshinori Hijikata
    • Organizer
      Proceedings of the 16th International Symposium on Computer Music Multidisciplinary Research (CMMR 2023)
    • Int'l Joint Research

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi