2019 Fiscal Year Annual Research Report
Music Generation and Analysis Based on Mathematical Modeling of Composiion, Performance and Acoustic Signals
| Project/Area Number |
17H00749
|
|---|
| Research Institution | The University of Electro-Communications |
|---|
Principal Investigator |
嵯峨山 茂樹 電気通信大学, 大学院情報理工学研究科, 客員研究員 (00303321)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
北原 鉄朗 日本大学, 文理学部, 准教授 (00454710)
齋藤 康之 木更津工業高等専門学校, 情報工学科, 准教授 (40331996)
堀 玄 亜細亜大学, 経営学部, 教授 (60322658)
小野 順貴 首都大学東京, システムデザイン研究科, 教授 (80334259)
中村 和幸 明治大学, 総合数理学部, 専任教授 (40462171)
堀内 靖雄 千葉大学, 大学院工学研究院, 准教授 (30272347)
齋藤 大輔 東京大学, 大学院工学系研究科(工学部), 講師 (40615150)
饗庭 絵里子 電気通信大学, 大学院情報理工学研究科, 准教授 (40569761)
|
|---|
| Project Period (FY) |
2017-04-01 – 2020-03-31
|
| Keywords | 音楽情報処理 / 自動作曲・作詞 / 音楽信号加工 / 自動伴奏 / 和声解析 / 音楽処理インタフェース / 自動編曲 / 福祉応用 |
|---|
| Outline of Annual Research Achievements |
主な研究成果項目は、ユーザ入力の旋律断片や部分和声から曲を自動完成させる「自動補完」問題を初提唱。入力を拘束条件とする確率的音楽理論による最尤解を導く方法で実現。転調などを含めて楽曲を多彩にする方法も開発（博士論文） / 音楽信号中の和音の各音符のonset時刻のずれを楽譜情報を用いて高精度で検出 / 自動作曲システムOrpheusの再構築と多数の機能拡充、多数のメディア報道。登録ユーザは1万人超、累計作曲50万曲、再生400万回超 / 自動伴奏システムEurydiceを完全再開発：Eurydice 2 / 音光変換デバイス「ブリンキー」による音高の可視化システム / 英語の歌詞から画像を生成する手法とWebアプリを開発 / JamSketchのAndroid化 / VAEを用いたリハーモナイゼーション / POP楽曲のバラード風ピアノアレンジ / HamoKara（HMMを使ったハモリパート生成とそれを用いたカラオケハモリ練習支援システム） / 旋律概形を用いたメロディ編集 / HMMを用いたウォーキングベースラインの自動生成 / 印象語を用いたグラフィックイコライザー操作 / 位相情報を考慮したRNNによるドラム自動採譜 / ピアノ運指データセットの構築と分析、推定 / 有料老人ホームでEurydice による1本指タッピングによる楽曲進行を2種類の方法開拓 / タテ線譜とEurydice を併用.、運指と音高の誤り量の推移を研究 / マルチピッチボコーダの基本的な音声生成を確認 / 複数人歌唱のパート割推定に取り組み、「合唱音声情報処理」の確立を追及 / 単語の発声難易度の推定とそのためのデータベース作成、変調スペクトルに着眼した深層学習ベース音声合成分析 / KS Notationの記述法による機能和声の解析と、和声ラベルデータの作成を再開、など多数がある。
|
| Research Progress Status |
令和元年度が最終年度であるため、記入しない。
|
| Strategy for Future Research Activity |
令和元年度が最終年度であるため、記入しない。
|
| Remarks |
web ベースの日本語歌詞からの自動作曲システム。任意の日本語歌詞から、自分の好みの作曲条件設定に基づいて自動作曲でき、伴奏つきの合成音声と楽譜を出力する。新バージョンになってからでも37万曲（同一歌詞で作曲条件変更も含む）が作曲されている。ユーザが与えたキーワードから自動作詞する機能など、さまざまな機能がある。メディアでの紹介も多数（NHKドラえもん50周年特集、日テレ世界一受けたい授業など）。
|
