• 研究課題をさがす
  • 研究者をさがす
  • KAKENの使い方
  1. 前のページに戻る

機械学習を用いた古琴譜の識別及びAIによる自動打譜の試み

研究課題

研究課題/領域番号 23K24964
補助金の研究課題番号 22H03709 (2022-2023)
研究種目

基盤研究(B)

配分区分基金 (2024)
補助金 (2022-2023)
応募区分一般
審査区分 小区分62040:エンタテインメントおよびゲーム情報学関連
研究機関日本工業大学

研究代表者

呉本 尭  日本工業大学, 先進工学部, 教授 (40294657)

研究分担者 稗田 浩雄  公益財団法人未来工学研究所, 研究センター, 研究員 (10425796)
間普 真吾  山口大学, 大学院創成科学研究科, 教授 (70434321)
研究期間 (年度) 2022-04-01 – 2026-03-31
研究課題ステータス 交付 (2024年度)
配分額 *注記
15,600千円 (直接経費: 12,000千円、間接経費: 3,600千円)
2025年度: 910千円 (直接経費: 700千円、間接経費: 210千円)
2024年度: 2,340千円 (直接経費: 1,800千円、間接経費: 540千円)
2023年度: 3,900千円 (直接経費: 3,000千円、間接経費: 900千円)
2022年度: 8,450千円 (直接経費: 6,500千円、間接経費: 1,950千円)
キーワード機械学習 / 深層学習 / 古琴 / 減字譜 / 打譜 / 仙翁操 / 春暁吟 / 人工知能 / AI打譜 / YOLOv5 / VGG16
研究開始時の研究の概要

本研究の目的は「現代人に翻訳・演奏されていない多くの七絃琴の琴譜である減字譜を機械学習技術によって、自動的に識別し、その琴曲を復元する(AI打譜)」ことの実現である。本研究の学術的独自性と創造性は、AI技術と古代芸術の学際的に融合及び古代琴曲の復元にある。自動打譜のアルゴリズム案は以下ように考慮する。a) 琴譜の構造化:単字認識の結果を琴譜ごとに応用し、深層学習モデルによって、初歩的な打譜結果を出力する;b) 打譜ルールと知識を表現するアルゴリズムの開発:専門家の打譜手順を明確に理解し、琴譜に対する識別を単字認識から、音楽となる琴曲への解釈につながる自動打譜アルゴリズムを開発する。

研究実績の概要

3000年以上の歴史を持つ中国の楽器である古琴(Guqin)の楽譜は手書き文字で残され、現代では、わずかの専門家しか解読できません。そのため、現存する3360曲の楽譜がありますが、実際演奏されている曲は数十曲に過ぎません。本研究では、最先端の人工知能(AI)技術を用いて、古琴譜である「減字譜」の識別・琴曲復元を目的にしています。本年度の実績としては、以下の3点あります。①深層学習モデルVGG16とYOLOv5を用いて、古琴演奏の入門曲である「仙翁操」の全曲の単字55個を識別することを試みました。それぞれの学習後の平均識別精度は87.50%と88.47%でした。②YOLOv5及び減字譜単字演奏ビデオデータを用いて、「仙翁操」の琴曲を復元(手書き文字楽譜をカメラで撮影し、音声・映像を出力する)するシステムを開発しました。③より多くの減字譜単字データベースを作成するため、「春暁吟」の減字譜を収集しました。また、単字に対する構成部分の解析を始めました。
本年度において、国際会議にて1件の成果発表と国内研究会にて1件の成果発表がありました。特に2024年1月に、本研究の紹介は英国の科学雑誌「Impact」に取り上げられました。
※Science Impact社が出版する雑誌Impactは、世界中の3万5000人の読者に向け配布され、大学・研究機関・国および地域の資金提供機関などに読まれています。出版物は世界で最大のオンライン学術情報源IngentaConnect(インジェンタ・コネクト:月150万アクセスがあり、3万の学術研究および産業図書館にて使用)上でオープンアクセスされます。

現在までの達成度 (区分)
現在までの達成度 (区分)

2: おおむね順調に進展している

理由

研究代表者と研究分担者の役割を順調に果たしており、研究成果が発表されています。また、現行中の減字譜単字の構造解析は、次年度に成果発表ができる程度に進展しています。

今後の研究の推進方策

次年度においては、減字譜単字の構造を機械学習技術によって解析することを進め、AIモデルが古琴譜への理解レベルを調査します。更に、最終年度においては、より多くの古琴譜データベースを作成し、AIシステムの実用性を向上させます。また、本研究のアプローチや成果を尺八や三味線などの楽譜自動認識への活用を検討します。

報告書

(2件)
  • 2023 実績報告書
  • 2022 実績報告書
  • 研究成果

    (6件)

すべて 2024 2023 2022 その他

すべて 雑誌論文 (2件) (うち国際共著 1件、 査読あり 2件、 オープンアクセス 2件) 学会発表 (3件) (うち国際学会 1件) 備考 (1件)

  • [雑誌論文] Guqing Music Recognition by Machine Learning Methods2024

    • 著者名/発表者名
      Takashi Kuremoto
    • 雑誌名

      Impact

      巻: 2024(1) 号: 1 ページ: 40-42

    • DOI

      10.21820/23987073.2024.1.40

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス / 国際共著
  • [雑誌論文] Restoration of Guqin Music by Deep Learning Methods2023

    • 著者名/発表者名
      Takashi Kuremoto, Kazuma Fujino, Hirokazu Takahashi, Shun Kuremoto, Mamiko Koshiba, Hiroo Hieda, Shingo Mabu
    • 雑誌名

      Proceedings of the 2024 International Conference on Artificial Life and Robotics

      巻: 2023 ページ: 320-324

    • 関連する報告書
      2023 実績報告書
    • 査読あり / オープンアクセス
  • [学会発表] 深層学習モデルによる古琴譜の識別の試み2023

    • 著者名/発表者名
      呉本 尭, 藤野 航馬, 髙橋 浩雄, 呉本 舜, 小柴 満美子, 稗田 浩雄, 間普 真吾
    • 学会等名
      FIT2023(第22回情報科学フォーラム)
    • 関連する報告書
      2023 実績報告書
  • [学会発表] Recognition of Guqin Notation using Deep Learning2022

    • 著者名/発表者名
      Bowen Yang, Makoto Sato, Shun Kuremoto, Mamiko Koshiba, Shingo Mabu, Hiroo Hieda, Takashi Kuremoto
    • 学会等名
      The 10th International Conference on Innovative Application Research and Education (ICIARE2022)
    • 関連する報告書
      2022 実績報告書
    • 国際学会
  • [学会発表] 深層学習を用いた古琴譜の識別2022

    • 著者名/発表者名
      楊 博文, 佐藤 真琴, 呉本 舜, 小柴 満美子, 間普 真吾, 稗田 浩雄, 呉本 尭
    • 学会等名
      2022年電気学会 電子・情報・システム部門大会
    • 関連する報告書
      2022 実績報告書
  • [備考] 日本工業大学・研究活動トピックス2024年1月

    • URL

      https://www.nit.ac.jp/research-headlines/impact202401

    • 関連する報告書
      2023 実績報告書

URL: 

公開日: 2022-04-19   更新日: 2024-12-25  

サービス概要 検索マニュアル よくある質問 お知らせ 利用規程 科研費による研究の帰属

Powered by NII kakenhi