| 研究課題/領域番号 |
23K24966
|
|---|
| 補助金の研究課題番号 |
22H03711 (2022-2023)
|
|---|
| 研究種目 |
基盤研究(B)
|
| 配分区分 | 基金 (2024)
補助金 (2022-2023) |
|---|
| 応募区分 | 一般 |
|---|
| 審査区分 |
小区分62040:エンタテインメントおよびゲーム情報学関連
|
|---|
| 研究機関 | 日本大学 |
|---|
研究代表者 |
北原 鉄朗 日本大学, 文理学部, 教授 (00454710)
|
|---|
| 研究分担者 |
大澤 正彦 日本大学, 文理学部, 准教授 (40875803)
|
|---|
| 研究期間 (年度) |
2022-04-01 – 2026-03-31
|
| 研究課題ステータス |
交付 (2024年度)
|
| 配分額 *注記 |
17,290千円 (直接経費: 13,300千円、間接経費: 3,990千円)
2025年度: 2,860千円 (直接経費: 2,200千円、間接経費: 660千円)
2024年度: 4,160千円 (直接経費: 3,200千円、間接経費: 960千円)
2023年度: 4,940千円 (直接経費: 3,800千円、間接経費: 1,140千円)
2022年度: 5,330千円 (直接経費: 4,100千円、間接経費: 1,230千円)
|
|---|
| キーワード | 相互予測 / 相互適応 / コミュニケーション / ジャムセッション / 旋律の予測・生成 / 機械学習 / ディープラーニング / 即興演奏 / 即興演奏生成 / 音楽情報処理 / 快情動 |
|---|
| 研究開始時の研究の概要 |
本研究の目標は、ジャムセッションを題材に、人間とAIが快の情動を共有するコミュニケーションを実現することである。快は予測の的中によ
るもの（親近性の快）と非的中によるもの（新奇性の快）から構成されるとの考えに基づき、相互予測モデルの予測精度と情報量として親近性
と新奇性の快を定式化する。これにより、人間とAIがお互いの理解を漸進的に高め、快の情動を共有する様を、音楽を題材に実現する。
|
| 研究実績の概要 |
ディープラーニングを用いたメロディ生成に関して、代表的な手法（LSTM、VAE、CNN、GAN）によるものを実装し、書籍としてまとめた。メロディの代表的な2次元データ表現であるピアノロールを2値行列に変換し、各種手法を用いて学習・生成を行う。メロディ（ピアノロール表現）には一般的な画像と異なり、シフト不変性がない。そのため、CNN設計時には、そのことを前提としたフィルタの設計を行った。
また、前年度にディープラーニング（CNN）を導入した、旋律概形に基づく即興演奏支援システム「JamSketch」への応用を前提として、CNNとLSTMを組み合わせた旋律概形の時系列予測モデルを試作した。JamSketchは、旋律概形を描くだけで即興演奏を行えるシステムであるが、旋律概形を描くことにも慣れが必要であるため、完全な素人が利用するのは必ずしも簡単ではなかった。そこで、即興演奏のメロディから疑似的に生成した旋律概形をVAEで学習した。ユーザが描いた旋律概形をこのVAEモデルに入力することで、より実際のメロディに近い旋律概形を得る試みを行った。
機械学習を用いた即興演奏の生成については、研究者人口が少なく、当該分野の研究開発を行う研究者・技術者を増やす施策が重要である。そのような観点から、自動メロディ生成のコンテスト「弁財天」を実施し、その実施ノウハウを報告した。
その他、これらの派生研究として、ドラム系ループ音源のモーフィング、フィンガーピッキングスタイルのソロギターのための自動編曲、盛り上がり度に基づくループシーケンサのWebアプリ化など、多岐にわたる研究を実施した。
|
| 現在までの達成度 (区分) |
現在までの達成度 (区分)
2: おおむね順調に進展している
理由
メロディ生成をディープラーニングで行うための工夫点を書籍としてまとめたことで、学生などの研究補助者に対して効率的に技術指導を行い、多彩な研究を実施することができた。そのため、多岐にわたる研究成果を生み出すことができた。一方で、書籍としてまとめることに時間がかかり、個々の研究の進行には若干の課題が残った。
|
| 今後の研究の推進方策 |
ディープラーニングを用いたメロディの予測・分析・生成について、今後も改善を進めていく。特に、これまで作成したプログラムの設計が古くなり、拡張が困難になりつつあるので、一度作り直し、GitHub上でオープンソースソフトウェアとして公開し、他の研究者による利用を促したい。
また、ここ2年程度で大規模言語モデル、テキストからの画像生成モデルが登場し、音楽に関しても汎用的な音楽生成モデルが出始めているなど、状況が一変している。それにともない、新規性のある研究成果を生み出すには、必要なモデルの規模、学習データの規模が拡大している。それに対応するために、必要に応じて外部の大規模クラウド計算サービスを活用していく。
さらに、これまでと同様に応用システムの開発も進め、最終年度の実験に備えていく。
|
