| Project/Area Number |
20K19943
|
|---|
| Research Category |
Grant-in-Aid for Early-Career Scientists
|
| Allocation Type | Multi-year Fund |
|---|
| Review Section |
Basic Section 62030:Learning support system-related
|
|---|
| Research Institution | Okinawa National College of Technology |
|---|
Principal Investigator |
宮城 桂 沖縄工業高等専門学校, 情報通信システム工学科, 講師 (00734550)
|
|---|
| Project Period (FY) |
2020-04-01 – 2023-03-31
|
| Project Status |
Granted (Fiscal Year 2021)
|
| Budget Amount *help |
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
|
|---|
| Keywords | 歌三線 / 歌唱技能 / 歌唱フォルマント / 可視化 / 機械学習 / フォルマント / シンガーズフォルマント / 深層学習 |
|---|
| Outline of Research at the Start |
重要無形文化財「組踊歌三線」において、熟練者の歌唱技能は目下口伝のみによって伝承される。一方、昨今では様々な学術分野における科学技術の統合化が進められており、これによる新たな価値の創出が求められている。本研究課題では、歌三線と工学の異分野融合ならびに人と調和する技能伝承支援基盤の構築を実現するために、「熟練者」「AI」「システム」の境界領域に融合を促進する３つの基盤技術を確立する。これらの協働によって、熟練者の「知」と「技」をAIに転写し、AIと学習者の「調和的協働」を通じて伝統文化財の伝承・保存や歌三線の普及に向けた新たな価値の創出に貢献する。
|
| Outline of Annual Research Achievements |
今年度は、歌唱フォルマントの時間的な振舞いに着目し、熟練者に共通する音響特徴について分析を行った。その結果、熟練者は歌唱フォルマントという特定の周波数帯域（2400-4300Hz）を強調して歌うだけでなく、その帯域に複数のパワースペクトルを集中させる事でシンガーズ・フォルマント・クラスタを形成することが明らかとなった。加えて、そのシンガーズ・フォルマント・クラスタは、熟練者ほど歌唱時の音高や母音、子音の時間的変化によらず、パワーと周波数が安定して生起する傾向にある事が観測された。これは熟練者・経験者・初心者で声区の技術に差があることを示唆するものである。
次に、歌唱における音色の時間的変化を要素とする音色旋律に着目し、機械学習を用いて音響特徴を評価した。その結果、熟練者の歌唱には倍音成分が多く含まれ、音色のパターンも経験者や初心者と比べて多様であることが明らかとなった。すなわち、これらの熟練者に共通する音色特徴は歌唱における習熟度と相関があると思われる。
これらの知見に基づき、歌い手の習熟度に応じて分類することが可能になった他、従来の音高の時間変化による歌唱評価手法と比較して、人間の音楽的感性に基づいた歌唱の巧拙を判定することができると考えている。さらに、多次元のベクトルとして表出する音色を2次元に圧縮することで、音色旋律の時間的な振舞いを可視化する手法を提案した。歌三線の学習者は、可視化された音色の振舞いを真似る事で歌唱訓練を行うことができる。なお、これらの成果を知財として特許を申請中である。
|
| Current Status of Research Progress |
Current Status of Research Progress
3: Progress in research has been slightly delayed.
Reason
新型コロナウイルスの感染予防のため、予定していた沖縄県立芸術大学での歌唱データの取得や、打ち合わせが十分にできなかった。
|
| Strategy for Future Research Activity |
前年度に引き続き、技能伝承支援システムの開発を継続して行う。令和4年度上期では、以下の方針で技能向上のための適切な指導内容をフィードバックするためのAIの開発に取り組む。
（1）沖縄県立大学と連携し、これまでに得られた知見に対するフィードバックを得る。
（2）データ取得については、新型コロナウイルスの状況を鑑みつつ可能な範囲で実施する。
（3）最新の分析結果を取り纏め、Teams等を用いてコロナ禍においても、ディスカッションできる環境を用意し、助言やフィードバックを得て、更なる改善を行う。
|
