2023 Fiscal Year Annual Research Report
親近性と新奇性に基づく人間とAIのコミュニケーションモデルおよびその音楽での実現
| Project/Area Number |
22H03711
|
|---|
| Allocation Type | Single-year Grants |
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大澤 正彦 日本大学, 文理学部, 准教授 (40875803)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Keywords | 旋律の予測・生成 / 機械学習 / ディープラーニング / 即興演奏 |
|---|
| Outline of Annual Research Achievements |
ディープラーニングを用いたメロディ生成に関して、代表的な手法（LSTM、VAE、CNN、GAN）によるものを実装し、書籍としてまとめた。メロディの代表的な2次元データ表現であるピアノロールを2値行列に変換し、各種手法を用いて学習・生成を行う。メロディ（ピアノロール表現）には一般的な画像と異なり、シフト不変性がない。そのため、CNN設計時には、そのことを前提としたフィルタの設計を行った。
また、前年度にディープラーニング（CNN）を導入した、旋律概形に基づく即興演奏支援システム「JamSketch」への応用を前提として、CNNとLSTMを組み合わせた旋律概形の時系列予測モデルを試作した。JamSketchは、旋律概形を描くだけで即興演奏を行えるシステムであるが、旋律概形を描くことにも慣れが必要であるため、完全な素人が利用するのは必ずしも簡単ではなかった。そこで、即興演奏のメロディから疑似的に生成した旋律概形をVAEで学習した。ユーザが描いた旋律概形をこのVAEモデルに入力することで、より実際のメロディに近い旋律概形を得る試みを行った。
機械学習を用いた即興演奏の生成については、研究者人口が少なく、当該分野の研究開発を行う研究者・技術者を増やす施策が重要である。そのような観点から、自動メロディ生成のコンテスト「弁財天」を実施し、その実施ノウハウを報告した。
その他、これらの派生研究として、ドラム系ループ音源のモーフィング、フィンガーピッキングスタイルのソロギターのための自動編曲、盛り上がり度に基づくループシーケンサのWebアプリ化など、多岐にわたる研究を実施した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
メロディ生成をディープラーニングで行うための工夫点を書籍としてまとめたことで、学生などの研究補助者に対して効率的に技術指導を行い、多彩な研究を実施することができた。そのため、多岐にわたる研究成果を生み出すことができた。一方で、書籍としてまとめることに時間がかかり、個々の研究の進行には若干の課題が残った。
|
| Strategy for Future Research Activity |
ディープラーニングを用いたメロディの予測・分析・生成について、今後も改善を進めていく。特に、これまで作成したプログラムの設計が古くなり、拡張が困難になりつつあるので、一度作り直し、GitHub上でオープンソースソフトウェアとして公開し、他の研究者による利用を促したい。
また、ここ2年程度で大規模言語モデル、テキストからの画像生成モデルが登場し、音楽に関しても汎用的な音楽生成モデルが出始めているなど、状況が一変している。それにともない、新規性のある研究成果を生み出すには、必要なモデルの規模、学習データの規模が拡大している。それに対応するために、必要に応じて外部の大規模クラウド計算サービスを活用していく。
さらに、これまでと同様に応用システムの開発も進め、最終年度の実験に備えていく。
|
