作曲・演奏・信号の数理モデルに基づく音楽の生成と解析の研究

2019 年度 実績報告書

• 研究課題/領域番号: 17H00749
• 研究機関: 電気通信大学
• 研究代表者: 嵯峨山 茂樹 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
• 研究分担者: 北原 鉄朗 日本大学, 文理学部, 准教授 (00454710) ; 齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996) ; 堀 玄 亜細亜大学, 経営学部, 教授 (60322658) ; 小野 順貴 首都大学東京, システムデザイン研究科, 教授 (80334259) ; 中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171) ; 堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347) ; 齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150) ; 饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
• 研究期間 (年度): 2017-04-01 – 2020-03-31
• キーワード: 音楽情報処理 / 自動作曲・作詞 / 音楽信号加工 / 自動伴奏 / 和声解析 / 音楽処理インタフェース / 自動編曲 / 福祉応用

研究実績の概要

主な研究成果項目は、ユーザ入力の旋律断片や部分和声から曲を自動完成させる「自動補完」問題を初提唱。入力を拘束条件とする確率的音楽理論による最尤解を導く方法で実現。転調などを含めて楽曲を多彩にする方法も開発（博士論文） / 音楽信号中の和音の各音符のonset時刻のずれを楽譜情報を用いて高精度で検出 / 自動作曲システムOrpheusの再構築と多数の機能拡充、多数のメディア報道。登録ユーザは1万人超、累計作曲50万曲、再生400万回超 / 自動伴奏システムEurydiceを完全再開発：Eurydice 2 / 音光変換デバイス「ブリンキー」による音高の可視化システム / 英語の歌詞から画像を生成する手法とWebアプリを開発 / JamSketchのAndroid化 / VAEを用いたリハーモナイゼーション / POP楽曲のバラード風ピアノアレンジ / HamoKara（HMMを使ったハモリパート生成とそれを用いたカラオケハモリ練習支援システム） / 旋律概形を用いたメロディ編集 / HMMを用いたウォーキングベースラインの自動生成 / 印象語を用いたグラフィックイコライザー操作 / 位相情報を考慮したRNNによるドラム自動採譜 / ピアノ運指データセットの構築と分析、推定 / 有料老人ホームでEurydice による1本指タッピングによる楽曲進行を2種類の方法開拓 / タテ線譜とEurydice を併用.、運指と音高の誤り量の推移を研究 / マルチピッチボコーダの基本的な音声生成を確認 / 複数人歌唱のパート割推定に取り組み、「合唱音声情報処理」の確立を追及 / 単語の発声難易度の推定とそのためのデータベース作成、変調スペクトルに着眼した深層学習ベース音声合成分析 / KS Notationの記述法による機能和声の解析と、和声ラベルデータの作成を再開、など多数がある。

現在までの達成度 (段落)

令和元年度が最終年度であるため、記入しない。

今後の研究の推進方策

令和元年度が最終年度であるため、記入しない。

備考

web ベースの日本語歌詞からの自動作曲システム。任意の日本語歌詞から、自分の好みの作曲条件設定に基づいて自動作曲でき、伴奏つきの合成音声と楽譜を出力する。新バージョンになってからでも37万曲（同一歌詞で作曲条件変更も含む）が作曲されている。ユーザが与えたキーワードから自動作詞する機能など、さまざまな機能がある。メディアでの紹介も多数（NHKドラえもん50周年特集、日テレ世界一受けたい授業など）。

研究成果

• [雑誌論文] 3-Dimensional Motif Modeling for Music Composition (2020)
  • 著者名/発表者名: Shigeki Sagayama, Hitomi Kaneko
  • 雑誌名: Proceedings of the International Conference on New Music Concepts Inspired Education and New Computer Science Generation 巻: 7 ページ: 104 - 115
  • 査読あり
• [雑誌論文] 旋律と「和声進行の緊張感」を入力する対話型和声付け支援システム (2020)
  • 著者名/発表者名: 高橋 拓椰，Christoph Wilk，嵯峨山 茂樹，宮下 芳明
  • 雑誌名: インタラクション2020予稿集 巻: 3A-08 ページ: 3A-08
  • 査読あり
• [雑誌論文] usic Recreation in Nursing Home using Automatic Music Accompaniment System and Score of VLN (2020)
  • 著者名/発表者名: Yasuyuki Saito, Yasuji Sakai, Yuu Igarashi, Suguru Agata, Eita Nakamura, Shigeki Sagayama
  • 雑誌名: Proceedings of 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech) 巻: - ページ: 127-131
  • 査読あり
• [雑誌論文] 音光変換デバイス「ブリンキー」による音高のリアルタイム可視化 (2020)
  • 著者名/発表者名: 石井 奏人, 堀池 大樹, シャイブラー ロビン, 若林 佑幸, 小野 順貴
  • 雑誌名: 日本音響学会春季研究発表会講演論文集 巻: - ページ: 369-370
• [雑誌論文] マッシュアップ生成のための楽曲ミックスの良さのDNNによる評価の検討 (2020)
  • 著者名/発表者名: 小林 史弥, 山岡 洸瑛, シャイブラー ロビン, 若林 佑幸, 小野 順貴
  • 雑誌名: 日本音響学会春季研究発表会講演論文集 巻: - ページ: 1207-1208
• [雑誌論文] 歌声の歌唱タイミングと同期する伴奏システム (2020)
  • 著者名/発表者名: 野口真太朗, 堀内靖雄, 黒岩眞吾
  • 雑誌名: 情報処理学会 研究報告（音楽情報科学） 巻: Vol.2020-MUS-126 ページ: 1-6
• [雑誌論文] 音楽と印象に関する一分析 (2020)
  • 著者名/発表者名: 井上 湧哉, 植村 あい子, 北原 鉄朗
  • 雑誌名: 情報処理学会 研究報告（音楽情報科学） 巻: Vol.2020-MUS-126, No.1 ページ: 1-7
• [雑誌論文] ユーザによるVOCALOID曲の歌唱のためのブレス位置推定 (2020)
  • 著者名/発表者名: 内藤 悟嗣, 齋藤 佑樹, 高道 慎之介, 齋藤 康之, 猿渡 洋
  • 雑誌名: 日本音響学会春季研究発表会講演論文集 巻: - ページ: 1 - 6
• [雑誌論文] 機械学習によるクラシック曲に対する機能和声を考慮した自動和声付与 (2020)
  • 著者名/発表者名: 塚本康太，饗庭絵里子，北原鉄朗
  • 雑誌名: 情報処理学会 研究報告（音楽情報科学） 巻: vol.2020-MUS-126, no.4 ページ: 5-5
• [雑誌論文] Polyphonic Voicing Optimization for Automatic Music Completion (2019)
  • 著者名/発表者名: Christoph M. Wilk, Shigeki Sagayama
  • 雑誌名: Proceedings of APSIPA-ASC 2019 (2019 Asia-Pacific Signal and Information Processing - Annual Summit and Conference) 巻: - ページ: 375 - 382
  • 査読あり
• [雑誌論文] Automatic Music Completion Based on Joint Optimization of Harmony Progression and Voicing (2019)
  • 著者名/発表者名: Christoph Mathias Wilk, Shigeki Sagayama
  • 雑誌名: Journal of Information Processing 巻: 27 ページ: 693 - 700
  • DOI: 10.2197/ipsjjip.27.693
  • 査読あり
• [雑誌論文] 楽譜情報を用いた高時間分解能Audio-to-MIDI変換 (2019)
  • 著者名/発表者名: 保利 武志, 中村 和幸, 嵯峨山 茂樹
  • 雑誌名: 情報処理学会論文誌 巻: 60(11) ページ: 2034-2047
  • 査読あり
• [雑誌論文] Color Extraction from Lyrics (2019)
  • 著者名/発表者名: Hori Gen
  • 雑誌名: Proceedings of the 2019 4th International Conference on Automation, Control and Robotics Engineering (CACRE2019) 巻: Article No.: 18 ページ: 1-6
  • DOI: 10.1145/3351917.3351991
  • 査読あり / オープンアクセス
• [雑誌論文] ゲーム風演出で読書を促進するモバイルアプリケーション (2019)
  • 著者名/発表者名: 草野 有沙, 西 由佳梨, 北原 鉄朗
  • 雑誌名: 情報処理学会論文誌（テクニカルノート) 巻: Vol.60, No.11 ページ: 1978--1982
  • 査読あり
• [雑誌論文] HamoKara: A System that Enables Amateur Singers to Practice Backing Vocals for Karaoke (2019)
  • 著者名/発表者名: Mina Shiraishi, Kozue Ogasawara, and Tetsuro Kitahara
  • 雑誌名: Journal of Information Processing 巻: Vol.27 ページ: 683--692
  • 査読あり / オープンアクセス
• [雑誌論文] A Non-notewise Melody Editing Method for Supporting Musically Untrained People's Music Composition (2019)
  • 著者名/発表者名: Kitahara Tetsuro、Tsuchiya Yuichi
  • 雑誌名: Journal of Creative Music Systems 巻: 3 ページ: -
  • DOI: 10.5920/jcms.624
  • 査読あり / オープンアクセス
• [雑誌論文] Generating Walking Bass Lines with HMM" (2019)
  • 著者名/発表者名: Ayumi Shiga and Tetsuro Kitahara
  • 雑誌名: The 14th International Symposium on Computer Music Multidisciplinary Research (CMMR 2019) 巻: - ページ: 83--90
  • 査読あり
• [雑誌論文] An Investigation towards Verbally Controllable Equalizer for Singing Voices (2019)
  • 著者名/発表者名: Seiya Masuda, Eriko Aiba, and Tetsuro Kitahara
  • 雑誌名: Proceedings of the 5th Workshop on Intelligent Music Production (WIMP 2019) 巻: - ページ: -
  • 査読あり / オープンアクセス
• [雑誌論文] 自動伴奏システムEurydice の機能拡張とタテ線譜の併用事例 (2019)
  • 著者名/発表者名: 齋藤 康之, 坂井 康二, 五十嵐 優
  • 雑誌名: 日本電子キーボード音楽学会 第15回全国大会論文集 巻: - ページ: 14
• [雑誌論文] タテ線譜・ユリディスとは何か ～その融合的試行を追加する～ (2019)
  • 著者名/発表者名: 阿方 俊, 坂井 康二, 五十嵐 優, 齋藤 康之, 西山 淑子, 橘川 琢, 小澤 真弓, 小熊 達也
  • 雑誌名: 日本電子キーボード音楽学会 第15回全国大会 巻: - ページ: 10-11
• [雑誌論文] ピアノ運指データを用いた統計学習手法による運指推定 (2019)
  • 著者名/発表者名: 中村 栄太, 齋藤 康之, 吉井 和佳
  • 雑誌名: 情報処理学会 研究報告（音楽情報科学） 巻: vol.2019-MUS-124, no.12 ページ: 1-16
• [雑誌論文] PIG データセットと統計学習に基づくピアノ運指推定 (2019)
  • 著者名/発表者名: 中村 栄太, 齋藤 康之, 吉井 和佳
  • 雑誌名: 情報処理学会 研究報告（音楽情報科学） 巻: vol.2019-MUS-124, no.4 ページ: 2
• [雑誌論文] ピアノ運指自動抽出のための基礎検討 (2019)
  • 著者名/発表者名: 齋藤 康之, 花澤 勇丞
  • 雑誌名: Visual Computing 2019 巻: poster 27 ページ: 1
• [雑誌論文] ピアノ運指データを用いた運指の個人性の解析 (2019)
  • 著者名/発表者名: 中村 栄太, 齋藤 康之, 吉井 和佳
  • 雑誌名: 情報処理学会 研究報告（音楽情報科学） 巻: vol.2019-MUS-123, no.42 ページ: 1-6
• [学会発表] 旋律と「和声進行の緊張感」を入力する対話型和声付け支援システム (2020)
  • 著者名/発表者名: 高橋 拓椰，Christoph Wilk，嵯峨山 茂樹，宮下 芳明
  • 学会等名: インタラクション 2020
• [学会発表] Music Recreation in Nursing Home using Automatic Music Accompaniment System and Score of VLN (2020)
  • 著者名/発表者名: Yasuyuki Saito, Yasuji Sakai, Yuu Igarashi, Suguru Agata, Eita Nakamura, Shigeki Sagayama
  • 学会等名: 2020 IEEE 2nd Global Conference on Life Sciences and Technologies (LifeTech)
  • 国際学会
• [学会発表] 音光変換デバイス「ブリンキー」による音高のリアルタイム可視化 (2020)
  • 著者名/発表者名: 石井 奏人, 堀池 大樹, シャイブラー ロビン, 若林 佑幸, 小野 順貴
  • 学会等名: 日本音響学会春季研究発表会
• [学会発表] マッシュアップ生成のための楽曲ミックスの良さのDNNによる評価の検討 (2020)
  • 著者名/発表者名: 小林 史弥, 山岡 洸瑛, シャイブラー ロビン, 若林 佑幸, 小野 順貴
  • 学会等名: 日本音響学会春季研究発表会
• [学会発表] 歌声の歌唱タイミングと同期する伴奏システム (2020)
  • 著者名/発表者名: 野口真太朗, 堀内靖雄, 黒岩眞吾
  • 学会等名: 情報処理学会音楽情報科学研究会
• [学会発表] ピアノ用自動バラード調アレンジシステム (2020)
  • 著者名/発表者名: 草地 澪, 植村 あい子, 北原 鉄朗
  • 学会等名: インタラクション2020（インタラクティブ発表）
• [学会発表] 動画の盛り上がり度に基づいたループシーケンサ (2020)
  • 著者名/発表者名: 安坂 文汰, 北原 鉄朗
  • 学会等名: インタラクション2020（インタラクティブ発表）
• [学会発表] BGMの再生速度変化を用いた体幹トレーニング支援システム (2020)
  • 著者名/発表者名: 山本 鷹人, 北原 鉄朗
  • 学会等名: インタラクション2020（インタラクティブ発表）
• [学会発表] カラオケにおける自動楽曲推薦 (2020)
  • 著者名/発表者名: 伊藤 健友, 北原 鉄朗
  • 学会等名: インタラクション2020（インタラクティブ発表）
• [学会発表] ドラム演奏表情付けに向けたドラム演奏のベロシティの分析 (2020)
  • 著者名/発表者名: 関 晋之介, 井上 湧哉, 北原 鉄朗
  • 学会等名: 情報処理学会 第126回音楽情報科学研究会 萌芽・デモ・議論セッション
• [学会発表] クラシック曲の楽譜データに対する自動和声付与システムの構築に向けて (2020)
  • 著者名/発表者名: 塚本 康太, 饗庭 絵里子, 北原 鉄朗
  • 学会等名: 情報処理学会 第126回音楽情報科学研究会 萌芽・デモ・議論セッション
• [学会発表] 音楽と印象に関する一分析 (2020)
  • 著者名/発表者名: 井上 湧哉, 植村 あい子, 北原 鉄朗
  • 学会等名: 情報処理学会 第126回音楽情報科学研究会研究会
• [学会発表] ユーザによるVOCALOID曲の歌唱のためのブレス位置推定 (2020)
  • 著者名/発表者名: 内藤 悟嗣, 齋藤 佑樹, 高道 慎之介, 齋藤 康之, 猿渡 洋
  • 学会等名: 日本音響学会 春季研究発表会
• [学会発表] 機械学習によるクラシック曲に対する機能和声を考慮した自動和声付与 (2020)
  • 著者名/発表者名: 塚本康太，饗庭絵里子，北原鉄朗
  • 学会等名: 情報処理学会 音楽情報科学研究会
• [学会発表] Polyphonic Voicing Optimization for Automatic Music Completion (2019)
  • 著者名/発表者名: Christoph M. Wilk, Shigeki Sagayama
  • 学会等名: 2019 Asia-Pacific Signal and Information Processing Association - Annual Summit and Conference (APSIPA-ASC)
  • 国際学会
• [学会発表] Faster independent low-rank matrix analysiswith pairwise updates of demixing vectors (2019)
  • 著者名/発表者名: Taishi Nakashima, Robin Scheibler, Yukoh Wakabayashi, and Nobutaka Ono
  • 学会等名: EUSIPCO 2019
  • 国際学会
• [学会発表] Generating Walking Bass Lines with HMM (2019)
  • 著者名/発表者名: Ayumi Shiga and Tetsuro Kitahara
  • 学会等名: The 14th International Symposium on Computer Music Multidisciplinary Research (CMMR 2019)
  • 国際学会
• [学会発表] An Investigation towards Verbally Controllable Equalizer for Singing Voices (2019)
  • 著者名/発表者名: Seiya Masuda, Eriko Aiba, and Tetsuro Kitahara
  • 学会等名: The 5th Workshop on Intelligent Music Production (WIMP 2019)
  • 国際学会
• [学会発表] 自動伴奏システムEurydice の機能拡張とタテ線譜の併用事例 (2019)
  • 著者名/発表者名: 齋藤 康之, 坂井 康二, 五十嵐 優
  • 学会等名: 日本電子キーボード音楽学会 第15回全国大会
• [学会発表] タテ線譜・ユリディスとは何か ～その融合的試行を追加する～ (2019)
  • 著者名/発表者名: 阿方 俊, 坂井 康二, 五十嵐 優, 齋藤 康之, 西山 淑子, 橘川 琢, 小澤 真弓, 小熊 達也
  • 学会等名: 日本電子キーボード音楽学会 第15回全国大会
• [学会発表] ピアノ運指データを用いた統計学習手法による運指推定 (2019)
  • 著者名/発表者名: 中村 栄太, 齋藤 康之, 吉井 和佳
  • 学会等名: 情報処理学会 音楽情報科学研究会
• [学会発表] PIG データセットと統計学習に基づくピアノ運指推定 (2019)
  • 著者名/発表者名: 中村 栄太, 齋藤 康之, 吉井 和佳
  • 学会等名: 情報処理学会 音楽情報科学研究会
• [学会発表] ピアノ運指自動抽出のための基礎検討 (2019)
  • 著者名/発表者名: 齋藤 康之, 花澤 勇丞
  • 学会等名: Visual Computing 2019
• [学会発表] ピアノ運指データを用いた運指の個人性の解析 (2019)
  • 著者名/発表者名: 中村 栄太, 齋藤 康之, 吉井 和佳
  • 学会等名: 第123回 情報処理学会 音楽情報科学研究会（音学シンポジウム2019）
• [備考] 自動作曲システム Orpheus
  • URL: http://www.orpheus-music.org/
• [産業財産権] AUTOMATIC PERFORMANCE DEVICE AND AUTOMATIC PERFORMANCE METHOD (2019)
  • 発明者名: SAGAYAMA Shigeki 他3名
  • 権利者名: SAGAYAMA Shigeki 他3名
  • 産業財産権種類: 特許
  • 産業財産権番号: EP19171746.1
  • 外国
• [産業財産権] AUTOMATIC PERFORMANCE DEVICE AND AUTOMATIC PERFORMANCE METHOD (2019)
  • 発明者名: SAGAYAMA Shigeki 他3名
  • 権利者名: SAGAYAMA Shigeki 他3名
  • 産業財産権種類: 特許
  • 産業財産権番号: 35961160
  • 外国