• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to project page

2022 Fiscal Year Annual Research Report

親近性と新奇性に基づく人間とAIのコミュニケーションモデルおよびその音楽での実現

Research Project

Project/Area Number 22H03711
Allocation TypeSingle-year Grants
Research InstitutionNihon University

Principal Investigator

北原 鉄朗  日本大学, 文理学部, 教授 (00454710)

Co-Investigator(Kenkyū-buntansha) 大澤 正彦  日本大学, 文理学部, 准教授 (40875803)
Project Period (FY) 2022-04-01 – 2026-03-31
Keywords旋律の予測・生成 / 機械学習 / ディープラーニング / 即興演奏
Outline of Annual Research Achievements

旋律概形に基づく即興演奏システム「JamSketch」の高度化に向け、畳み込みニューラルネットワーク(CNN)を用いてメロディを生成する新バージョンを開発した。CNNは、段階的に要素数を減らすフィルタ計算をすることで、段階的に抽象度の高い情報を取り出す技術である。そのため、フィルタを拍節構造に合わせて設計することで、拍節構造を考慮した情報抽出ができると考えられる。人間が作ってメロディを変換したものと比較したところ、CNNモデルによって自動生成されたメロディは、前者と区別できない程度のクオリティであることが分かった。ただし、人間が実際に演奏したメロディとの比較ではないことに注意が必要である。その他、次に挙げる技術を実現した。
・ジャズピアノの実演奏に対してタイミングのずれを単位円上に可視化する手法を考案し、プロのジャズピアニストによる演奏を入力し、演奏ごとのタイミングの傾向を議論した。その結果、スウィングしながら8分音符を弾いている演奏、スウィングせずに弾いている演奏、3連符を多く弾いている演奏などを区別できることが明らかになった。
・ギター演奏を入力すると、クロマベクトルなどを抽出し、畳み込みニューラルネットワークによってベースパートのスペクトログラムに変換する手法を考案した。比較的単純なコード演奏の、ギターとベースのペアデータを作成し、ベースパートの生成を試したところ、ある程度妥当なベースパートが生成されるものの、音質劣化が無視できない程度に存在することが明らかになった。
前述のJamSketchに関する研究成果は、新型コロナウイルス感染症の蔓延のために、令和4年度に国際会議で発表することを断念したために、そのための費用を1年間繰り越し、令和5年度に行われた国際会議にて発表した。

Current Status of Research Progress
Current Status of Research Progress

2: Research has progressed on the whole more than it was originally planned.

Reason

メロディ生成をディープラーニングで行うための工夫点を書籍としてまとめたことで、学生などの研究補助者に対して効率的に技術指導を行い、多彩な研究を実施することができた。そのため、多岐にわたる研究成果を生み出すことができた。一方で、書籍としてまとめることに時間がかかり、個々の研究の進行には若干の課題が残った。

Strategy for Future Research Activity

ディープラーニングを用いたメロディの予測・分析・生成について、今後も改善を進めていく。特に、これまで作成したプログラムの設計が古くなり、拡張が困難になりつつあるので、一度作り直し、GitHub上でオープンソースソフトウェアとして公開し、他の研究者による利用を促したい。
また、ここ2年程度で大規模言語モデル、テキストからの画像生成モデルが登場し、音楽に関しても汎用的な音楽生成モデルが出始めているなど、状況が一変している。それにともない、新規性のある研究成果を生み出すには、必要なモデルの規模、学習データの規模が拡大している。それに対応するために、必要に応じて外部の大規模クラウド計算サービスを活用していく。
さらに、これまでと同様に応用システムの開発も進め、最終年度の実験に備えていく。

  • Research Products

    (14 results)

All 2023 2022

All Presentation (14 results) (of which Int'l Joint Research: 4 results)

  • [Presentation] "選手間の位置関係に基づいたサッカーの可聴化の試み"2023

    • Author(s)
      奥田 真輝, 川原 瑞樹, 北原 鉄朗
    • Organizer
      インタラクション2023(インタラクティブ発表)
  • [Presentation] "ハウスミュージックの楽曲構成の分析"2023

    • Author(s)
      ウルフ ジャスティン智也, 名越 崇晃, 北原 鉄朗
    • Organizer
      インタラクション2023(インタラクティブ発表)
  • [Presentation] "初心者のギター練習のためのタブ譜生成の試み"2023

    • Author(s)
      坂井 俊亮, 瀬川 日向, 北原 鉄朗
    • Organizer
      インタラクション2023(インタラクティブ発表)
  • [Presentation] "フルート演奏支援システムのための音響分析:演奏音収集方法の再検討"2023

    • Author(s)
      大下沙偉, 大澤智恵, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会
  • [Presentation] "歌唱者ダイアライゼーションに向けた歌唱者識別手法の比較"2023

    • Author(s)
      田中麻衣, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会講演論文集
  • [Presentation] "バンド編曲に向けたギター音源からベース音源を生成するCNNモデル"2023

    • Author(s)
      香西智雄, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会
  • [Presentation] "ジャズ音楽のピアノ演奏における発音時刻の分析"2023

    • Author(s)
      森田果歩, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会
  • [Presentation] "スマートフォンのセンサーを用いた無観客ライブの応援システム開発"2023

    • Author(s)
      和山大輝, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会
  • [Presentation] "メロディの覚えやすさに関する分析"2023

    • Author(s)
      増田 航, 饗庭絵里子, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会
  • [Presentation] "盛り上がりに基づくループシーケンサのWeb実装"2023

    • Author(s)
      岩本祐輝, 尾上洋介, 北原 鉄朗
    • Organizer
      情報処理学会 第85回全国大会
  • [Presentation] "A Music Loop Sequencer with User-Adaptive Music Loop Selection"2022

    • Author(s)
      Yuki Iwamoto and Tetsuro Kitahara
    • Organizer
      Proceedings of the 4th ACM International Conference on Multimedia in Asia,
    • Int'l Joint Research
  • [Presentation] "JamSketch Deep α: A CNN-Based Improvisation System in Accordance with User's Melodic Outline Drawing"2022

    • Author(s)
      Tetsuro Kitahara and Akio Yonamine
    • Organizer
      Proceedings of the 4th ACM International Conference on Multimedia in Asia
    • Int'l Joint Research
  • [Presentation] "Automatic classification of blowing properness in flute sounds"2022

    • Author(s)
      Sai Oshita and Tetsuro Kitahara
    • Organizer
      Proceedings of the 24th International Congress on Acoustics (ICA 2022)
    • Int'l Joint Research
  • [Presentation] "Morphing-based Reharmonization with VAE: Reducing Dissonance with Consonance-based Loss Function"2022

    • Author(s)
      Aiko Uemura and Tetsuro Kitahara
    • Organizer
      Proceedings of the 3rd Conference on AI Music Creativity (AIMC 2022)
    • Int'l Joint Research

URL: 

Published: 2024-12-25  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi