An Approach to Guqin Music Recognition and Composition by Machine Learning
Project/Area Number |
22H03709
|
Research Category |
Grant-in-Aid for Scientific Research (B)
|
Allocation Type | Single-year Grants |
Section | 一般 |
Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
Research Institution | Nippon Institute of Technology |
Principal Investigator |
呉本 尭 日本工業大学, 先進工学部, 教授 (40294657)
|
Co-Investigator(Kenkyū-buntansha) |
稗田 浩雄 公益財団法人未来工学研究所, 研究センター, 研究員 (10425796)
間普 真吾 山口大学, 大学院創成科学研究科, 教授 (70434321)
|
Project Period (FY) |
2022-04-01 – 2026-03-31
|
Project Status |
Granted (Fiscal Year 2023)
|
Budget Amount *help |
¥15,600,000 (Direct Cost: ¥12,000,000、Indirect Cost: ¥3,600,000)
Fiscal Year 2023: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2022: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
|
Keywords | 機械学習 / 深層学習 / 古琴 / 減字譜 / AI打譜 / 仙翁操 / YOLOv5 / VGG16 / 人工知能 / 打譜 |
Outline of Research at the Start |
七絃琴(古琴)は世界でもっとも古い弦楽器の1つで、日本には中国の唐時代に書かれた世界最古の七絃琴譜が保存されている。一方、琴曲を演奏するため、手書きの古琴譜を解読する必要がある。これは「打譜」という専門用語で、少数の古琴の専門家にしかできないため、これまで、現存する3000余り古代の琴曲のうち、演奏されている琴譜は百曲未満と言われている。本研究では、ディープラーニング技術を用いて、手書きの古琴譜である「減字譜」に対する自動解読の試みを行い、大量の演奏されていない古琴曲の復元を目指す。また、本研究の成果は、箏譜、笙譜、琵琶譜、尺八などの日本伝統楽器の楽譜の自動認識、自動演奏への応用が期待できる。
|
Outline of Annual Research Achievements |
本研究の目的は「古琴(七絃琴)の琴譜である減字譜をディープラーニング技術によって、自動的に識別し、その琴曲を復元する(AI打譜)」ことの実現である。本年度(初年度)において、実施した研究内容および成果は以下通りにある。 1.古琴譜の収集:「琴曲集成全30冊」(2012年中華書局出版)を入手した。 2.減字譜データベースの作成:平易な古琴曲である「仙翁操」の減字譜データベースを作成した。 3.AIモデルによる減字譜の識別:深層学習モデルであるVGG16およびYOLOv5を用いて、「仙翁操」における55種単字減字譜識別を行い、それぞれの識別率は87.50%と88.47%であったことを明らかにした。 4.減字譜から琴曲の復元:「仙翁操」の単字の演奏ビデオデータを作成し、減字譜画像から直接音声を出力するシステムをYOLOv5によって開発した。
|
Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究代表者の所属機関にて極めて良好な研究環境があり、研究協力者(研究室在籍学生)の鋭意な努力、および研究分担者方の積極的な支援より、本年度の進捗状況は当初の計画以上に進展している。具体的には、国際会議ICIARE2022および国内研究会(2022年電気学会電子情報システム部門大会)で本研究課題の成果発表を行ったことなどが挙げられる。
|
Strategy for Future Research Activity |
初年度にAI打譜システム構築に向けて、平易な古琴曲「仙翁操」のみを対象とし、減字譜単字55種のデータベースを作成したが、今後は大量(100曲を目指す)の古琴曲を含んだ減字譜データベースの構築を行う。また、初年度のAI打譜システムの出力音声にはリズム、強弱などの音楽要素を含んでおらず、今後これらの課題を解決したい。
|
Report
(1 results)
Research Products
(2 results)