• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2023 Fiscal Year Annual Research Report

Automated Music Composition, Lyrics Generation and Accompaniment from the Speech Recognition Approach

Research Project

Project/Area Number 21H03462
Research InstitutionThe University of Electro-Communications

Principal Investigator

嵯峨山 茂樹  電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)

Co-Investigator(Kenkyū-buntansha) 金子 仁美  東京藝術大学, 音楽学部, 准教授 (00408949)
堀 玄  亜細亜大学, 経営学部, 教授 (60322658)
齋藤 康之  木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
饗庭 絵里子  電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
酒向 慎司  名古屋工業大学, 工学(系)研究科(研究院), 准教授 (30396791)
Project Period (FY) 2021-04-01 – 2024-03-31
Keywords自動作曲 / 自動伴奏 / 非和声音ラベル / 和声設計ツール / 画像からの歌詞自動作成 / 運指決定 / 自動作曲システムOrpheus / 自動伴奏システムEurydice
Outline of Annual Research Achievements

自動作曲と自動伴奏の研究を進めた。今年度から自動作曲結果を歌わせる機能の改善のために、名工大の酒向准教授が分担者として加わり、総勢6名の研究グループで、毎月オンライン会議を実施し、研究を進め、成果発表を行った。嵯峨山: (1) 日本語以外を含む言語に対応するユニヴァーサル自動旋律作曲の理論・アルゴリズム・学習法の開発 (2) 機械学習による楽譜上での非和声音自動検出分類 (3) 歌声合成のためのラグ窓を用いた音声分析法のアルゴリズム開発と検証。(4) 歌唱曲作曲技法を対話的に習得できるwebベースシステムの作成 (5) ソフトバンクロボティクス社に協力し、人型ロボットPepperに歌詞を入力すると自動作曲し、それを歌い踊る機能の実現と一般公開。
金子: (1) 非和声音の分析 (2) 非和声音データの記入と解析 (3) KSNによる非和声音記述。(4) 加速、減速についての知覚実験。
堀: 堀: (1) 博報堂生活総合研究所「ヒンドソング」のための自動作詞エンジン開発(BERTのMasked Language Modelを利用) (2) 画像・動画からのキーワード抽出および自動作詞・作曲の検討・実装 (3) ギター演奏者の左手のフォームを順列組み合せの手法で網羅的に列挙する方法の提案。
齋藤:(1) 自動伴奏技術の応用展開 (2) 自動伴奏システム Eurydice の応用展開 (3) Eurydice 2 の開発と普及と応用開拓、応用効果の評価。
饗庭: (1) Eurydice用ピアノ連弾MIDIデータ作成 (2) Eurydiceピアノ連弾演奏時のテンポの主観評価結果の追加解析(リタルダンド,アチェレランド,休符の取り方など)(3) Eurydiceのプログラムの改良。
酒向:(1) Orpheusの歌声モデル追加 (2) 歌声合成の広帯域化 (3) 歌声合成の高品質化。

Research Progress Status

令和5年度が最終年度であるため、記入しない。

Strategy for Future Research Activity

令和5年度が最終年度であるため、記入しない。

Remarks

当プロジェクトで自主的に運営している自動作曲システムOrpheusを常時改善更新して一般公開するとともに、博報堂生活総研の20周年記念行事に協力して「ヒンド(頻度)ソング」の自動作成公開や、ソフトバンクロボティクス社の人型ロボットPepperの「即席パフォーマー」動作実現公開を行った。

  • Research Products

    (24 results)

All 2024 2023 Other

All Journal Article (16 results) (of which Peer Reviewed: 7 results) Presentation (3 results) (of which Int'l Joint Research: 1 results,  Invited: 3 results) Remarks (5 results)

  • [Journal Article] 信号周期整数倍長窓Kalliopeの理論的性質2024

    • Author(s)
      嵯峨山 茂樹
    • Journal Title

      電子情報通信学会論文誌

      Volume: J107-D(2) Pages: 82-86

    • Peer Reviewed
  • [Journal Article] ジェラール・グリゼイ『機械仕掛けの時間』をめぐって - 楽曲分析による音楽の新たな時間概念の考察2024

    • Author(s)
      金子仁美
    • Journal Title

      東京藝術大学音楽学部紀要

      Volume: 49 Pages: 33-52

    • Peer Reviewed
  • [Journal Article] 複数のラグ窓対を用いた音声基本周波数と周期性尺度の推定2024

    • Author(s)
      越森 道貴, 嵯峨山 茂樹, 中鹿 亘
    • Journal Title

      情報処理学会研究報告(音声言語情報処理)

      Volume: 2024-SLP-151 Pages: 1--6

  • [Journal Article] 2 種のラグ窓によるスペクトル平滑化を用いたF0 推定2024

    • Author(s)
      越森 道貴, 嵯峨山 茂樹, 中鹿 亘
    • Journal Title

      日本音響学会第151回(2024年春季)研究発表会講演論文集

      Volume: - Pages: 2-P-36

  • [Journal Article] 照明演出の支援を目的とした楽曲の構造と雰囲気に基づく照明色・明度・動きの推定2024

    • Author(s)
      月東 菜乃, 酒向 慎司
    • Journal Title

      情報処理学会第86回全国大会講演論文集

      Volume: 2, 5V-01 Pages: 807-808

  • [Journal Article] 1970年代フランスにおける新しい作曲の姿勢2023

    • Author(s)
      金子仁美
    • Journal Title

      桐朋学園大学研究紀要

      Volume: 49 Pages: 41-61

    • Peer Reviewed
  • [Journal Article] 音楽分析・生成のための非和声音データベースの構築2023

    • Author(s)
      高橋拓椰, 金子仁美, 中鹿亘, 嵯峨山茂樹
    • Journal Title

      電子情報通信学会技術研究報告(音声)

      Volume: 123(88(SP2023)) Pages: 1-26

  • [Journal Article] Controllable Automatic Melody Composition Model across Pitch/Stress-accent Languages2023

    • Author(s)
      Takuya Takahashi, Shigeki Sagayama, Toru Nakashika
    • Journal Title

      Proceedings of the 16th International Symposium on Computer Music

      Volume: cmmr2023_1a-1.pdf Pages: -

    • Peer Reviewed
  • [Journal Article] SBERT-based Musical Components Estimation from Lyrics Trained with Imbalanced "Orpheus" Data2023

    • Author(s)
      Mastuti Puspitasari, Gen Hori, Shigeki Sagayama, Toru Nakashika
    • Journal Title

      電子情報通信学会技術研究報告(音声)

      Volume: 123 (88(SP2023)) Pages: 86-90

  • [Journal Article] SBERT-based Chord Progression Estimation from Lyrics Trained with Imbalanced Data2023

    • Author(s)
      Mastuti Puspitasari, Takuya Takahashi, Gen Hori, Shigeki Sagayama, Toru Nakashika
    • Journal Title

      Proceedings of the 16th International Symposium on Computer Music

      Volume: cmmr2023_3c-P7 Pages: 403-410

    • Peer Reviewed
  • [Journal Article] Enumerating Left Hand Forms for Guitar Tablatures using Non-decreasing Finger Numbers and Separators2023

    • Author(s)
      Gen Hori
    • Journal Title

      Proceedings of TENOR2023

      Volume: - Pages: 62-67

    • Peer Reviewed
  • [Journal Article] 音楽療法のための大型ボタンの押下による楽曲進行機能の装備2023

    • Author(s)
      阿方 俊, 西山 淑子, 秋谷 万里子, 齋藤 康之
    • Journal Title

      日本電子キーボード音楽学会 第18回全国大会, ラウンドテーブル

      Volume: - Pages: 13-14

  • [Journal Article] ピアノ連弾時におけるヒト演奏者のテンポ・リズム制御:自動伴奏システムへの組み込み2023

    • Author(s)
      平賀 佑哉,饗庭 絵里子
    • Journal Title

      日本音響学会第150回秋季研究発表会

      Volume: - Pages: 2-4-16

  • [Journal Article] 聴覚障害者の音楽体験支援のためのChironomieによる音楽可視化手法の提案2023

    • Author(s)
      辰巳 花菜, 酒向 慎司
    • Journal Title

      電子情報通信学会技術報告 福祉情報工学研究会

      Volume: 123, WIT2023-21 Pages: 17-20

  • [Journal Article] ギターアンプのノブ操作による音色の変化に対応したブラックボックスモデリング2023

    • Author(s)
      江崎 友都, 酒向 慎司
    • Journal Title

      日本音響学会第150回秋季研究発表会

      Volume: 1-R-20 Pages: 261-262

  • [Journal Article] Music Visualization using Chironomie2023

    • Author(s)
      Kana Tatsumi, Shinji Sako, Rafael Ramirez
    • Journal Title

      The 24th conference of the International Society for Music Information Retrieval (ISMIR)

      Volume: LP-34 Pages: -

    • Peer Reviewed
  • [Presentation] 窒素 - チェロのための2024

    • Author(s)
      金子仁美
    • Organizer
      アンサンブルコンテンポラリーα定期演奏会(オペラシティリサイタルホール)
    • Invited
  • [Presentation] 恒星 - ヴァイオリンのための2023

    • Author(s)
      金子仁美
    • Organizer
      全音楽譜出版社主催演奏会(東京文化会館小ホール)
    • Invited
  • [Presentation] 17 Years with Automatic Music Composition System “Orpheus” (keynote speech)2023

    • Author(s)
      Shigeki Sagayama
    • Organizer
      The 16th International Symposium on Computer Music
    • Int'l Joint Research / Invited
  • [Remarks] 自動作曲システム Orpheus Ver. 3.23

    • URL

      https://www.orpheus-music.org/

  • [Remarks] 生成AIでPepperが作詞・作曲して、歌やダンスを披露するロボアプリ「即興パフォーマー」

    • URL

      https://www.softbankrobotics.com/jp/product/pepper/retail/app-performer/

  • [Remarks] ヒンドソング 「生活者」展 1981-2021

    • URL

      https://seikatsusoken.jp/40th/hindosong/

  • [Remarks] New Release! 5つの年代別ヒンドソング

    • URL

      https://seikatsusoken.jp/40th/hindosong/part2/

  • [Remarks] AIで「流行りの曲」は作れるのか?~AI作詞作曲プロジェクトからの気づき~

    • URL

      https://www.hakuhodo.co.jp/magazine/104496/

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi