Guqin Music Notation Recognition by Machine Learning Methods
| Project/Area Number |
23K24964
|
|---|
| Project/Area Number (Other) |
22H03709 (2022-2023)
|
|---|
| Research Category |
Grant-in-Aid for Scientific Research (B)
|
| Allocation Type | Multi-year Fund (2024)
Single-year Grants (2022-2023) |
|---|
| Section | 一般 |
|---|
| Review Section |
Basic Section 62040:Entertainment and game informatics-related
|
|---|
| Research Institution | Nippon Institute of Technology |
|---|
Principal Investigator |
呉本 尭 日本工業大学, 先進工学部, 教授 (40294657)
|
|---|
| Co-Investigator(Kenkyū-buntansha) |
稗田 浩雄 公益財団法人未来工学研究所, 研究センター, 研究員 (10425796)
間普 真吾 山口大学, 大学院創成科学研究科, 教授 (70434321)
|
|---|
| Project Period (FY) |
2022-04-01 – 2026-03-31
|
| Project Status |
Granted (Fiscal Year 2024)
|
| Budget Amount *help |
¥15,600,000 (Direct Cost: ¥12,000,000、Indirect Cost: ¥3,600,000)
Fiscal Year 2025: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2024: ¥2,340,000 (Direct Cost: ¥1,800,000、Indirect Cost: ¥540,000)
Fiscal Year 2023: ¥3,900,000 (Direct Cost: ¥3,000,000、Indirect Cost: ¥900,000)
Fiscal Year 2022: ¥8,450,000 (Direct Cost: ¥6,500,000、Indirect Cost: ¥1,950,000)
|
|---|
| Keywords | 機械学習 / 深層学習 / 古琴 / 減字譜 / 打譜 / AI打譜 / 仙翁操 / YOLOv5 / VGG16 / 人工知能 |
|---|
| Outline of Research at the Start |
本研究の目的は「現代人に翻訳・演奏されていない多くの七絃琴の琴譜である減字譜を機械学習技術によって、自動的に識別し、その琴曲を復元する（AI打譜）」ことの実現である。本研究の学術的独自性と創造性は、AI技術と古代芸術の学際的に融合及び古代琴曲の復元にある。自動打譜のアルゴリズム案は以下ように考慮する。a) 琴譜の構造化：単字認識の結果を琴譜ごとに応用し、深層学習モデルによって、初歩的な打譜結果を出力する；b) 打譜ルールと知識を表現するアルゴリズムの開発：専門家の打譜手順を明確に理解し、琴譜に対する識別を単字認識から、音楽となる琴曲への解釈につながる自動打譜アルゴリズムを開発する。
|
| Outline of Annual Research Achievements |
本研究の目的は「古琴（七絃琴）の琴譜である減字譜をディープラーニング技術によって、自動的に識別し、その琴曲を復元する（AI打譜）」ことの実現である。本年度（初年度）において、実施した研究内容および成果は以下通りにある。
１．古琴譜の収集：「琴曲集成全30冊」（2012年中華書局出版）を入手した。
２．減字譜データベースの作成：平易な古琴曲である「仙翁操」の減字譜データベースを作成した。
３．AIモデルによる減字譜の識別：深層学習モデルであるVGG16およびYOLOv5を用いて、「仙翁操」における５５種単字減字譜識別を行い、それぞれの識別率は87.50%と88.47%であったことを明らかにした。
４．減字譜から琴曲の復元：「仙翁操」の単字の演奏ビデオデータを作成し、減字譜画像から直接音声を出力するシステムをYOLOv5によって開発した。
|
| Current Status of Research Progress |
Current Status of Research Progress
1: Research has progressed more than it was originally planned.
Reason
研究代表者の所属機関にて極めて良好な研究環境があり、研究協力者（研究室在籍学生）の鋭意な努力、および研究分担者方の積極的な支援より、本年度の進捗状況は当初の計画以上に進展している。具体的には、国際会議ICIARE2022および国内研究会（2022年電気学会電子情報システム部門大会）で本研究課題の成果発表を行ったことなどが挙げられる。
|
| Strategy for Future Research Activity |
初年度にAI打譜システム構築に向けて、平易な古琴曲「仙翁操」のみを対象とし、減字譜単字５５種のデータベースを作成したが、今後は大量(100曲を目指す）の古琴曲を含んだ減字譜データベースの構築を行う。また、初年度のAI打譜システムの出力音声にはリズム、強弱などの音楽要素を含んでおらず、今後これらの課題を解決したい。
|
Report
(1 results)
Research Products
(2 results)
