| Project/Area Number |
23K24966
|
|---|
| Project/Area Number (Other) |
22H03711 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Nihon University |
|---|
Principal Investigator |
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
大澤 正彦 日本大学, 文理学部, 准教授 (40875803)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥17,290,000 (Direct Cost: ¥13,300,000、Indirect Cost: ¥3,990,000)
Fiscal Year 2025: ¥2,860,000 (Direct Cost: ¥2,200,000、Indirect Cost: ¥660,000)
Fiscal Year 2024: ¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2023: ¥4,940,000 (Direct Cost: ¥3,800,000、Indirect Cost: ¥1,140,000)
Fiscal Year 2022: ¥5,330,000 (Direct Cost: ¥4,100,000、Indirect Cost: ¥1,230,000)
|
|---|
| Keywords | 相互予測 / 相互適応 / コミュニケーション / ジャムセッション / 旋律の予測・生成 / 機械学習 / ディープラーニング / 即興演奏 / 即興演奏生成 / 音楽情報処理 / 快情動 |
|---|
| Outline of Research at the Start |
本研究の目標は、ジャムセッションを題材に、人間とAIが快の情動を共有するコミュニケーションを実現することである。快は予測の的中によ
るもの（親近性の快）と非的中によるもの（新奇性の快）から構成されるとの考えに基づき、相互予測モデルの予測精度と情報量として親近性
と新奇性の快を定式化する。これにより、人間とAIがお互いの理解を漸進的に高め、快の情動を共有する様を、音楽を題材に実現する。
|
| Outline of Annual Research Achievements |
ディープラーニングを用いたメロディ生成に関して、代表的な手法（LSTM、VAE、CNN、GAN）によるものを実装し、書籍としてまとめた。メロディの代表的な2次元データ表現であるピアノロールを2値行列に変換し、各種手法を用いて学習・生成を行う。メロディ（ピアノロール表現）には一般的な画像と異なり、シフト不変性がない。そのため、CNN設計時には、そのことを前提としたフィルタの設計を行った。
また、前年度にディープラーニング（CNN）を導入した、旋律概形に基づく即興演奏支援システム「JamSketch」への応用を前提として、CNNとLSTMを組み合わせた旋律概形の時系列予測モデルを試作した。JamSketchは、旋律概形を描くだけで即興演奏を行えるシステムであるが、旋律概形を描くことにも慣れが必要であるため、完全な素人が利用するのは必ずしも簡単ではなかった。そこで、即興演奏のメロディから疑似的に生成した旋律概形をVAEで学習した。ユーザが描いた旋律概形をこのVAEモデルに入力することで、より実際のメロディに近い旋律概形を得る試みを行った。
機械学習を用いた即興演奏の生成については、研究者人口が少なく、当該分野の研究開発を行う研究者・技術者を増やす施策が重要である。そのような観点から、自動メロディ生成のコンテスト「弁財天」を実施し、その実施ノウハウを報告した。
その他、これらの派生研究として、ドラム系ループ音源のモーフィング、フィンガーピッキングスタイルのソロギターのための自動編曲、盛り上がり度に基づくループシーケンサのWebアプリ化など、多岐にわたる研究を実施した。
|
| Current Status of Research Progress |
Current Status of Research Progress
2: Research has progressed on the whole more than it was originally planned.
Reason
メロディ生成をディープラーニングで行うための工夫点を書籍としてまとめたことで、学生などの研究補助者に対して効率的に技術指導を行い、多彩な研究を実施することができた。そのため、多岐にわたる研究成果を生み出すことができた。一方で、書籍としてまとめることに時間がかかり、個々の研究の進行には若干の課題が残った。
|
| Strategy for Future Research Activity |
ディープラーニングを用いたメロディの予測・分析・生成について、今後も改善を進めていく。特に、これまで作成したプログラムの設計が古くなり、拡張が困難になりつつあるので、一度作り直し、GitHub上でオープンソースソフトウェアとして公開し、他の研究者による利用を促したい。
また、ここ2年程度で大規模言語モデル、テキストからの画像生成モデルが登場し、音楽に関しても汎用的な音楽生成モデルが出始めているなど、状況が一変している。それにともない、新規性のある研究成果を生み出すには、必要なモデルの規模、学習データの規模が拡大している。それに対応するために、必要に応じて外部の大規模クラウド計算サービスを活用していく。
さらに、これまでと同様に応用システムの開発も進め、最終年度の実験に備えていく。
|
