• Search Research Projects
  • Search Researchers
  • How to Use
  1. Back to previous page

琉球古典音楽と工学を融合する技能伝承支援基盤の構築:人とAIの調和を目指して

Research Project

Project/Area Number 20K19943
Research Category

Grant-in-Aid for Early-Career Scientists

Allocation TypeMulti-year Fund
Review Section Basic Section 62030:Learning support system-related
Research InstitutionOkinawa National College of Technology

Principal Investigator

宮城 桂  沖縄工業高等専門学校, 情報通信システム工学科, 講師 (00734550)

Project Period (FY) 2020-04-01 – 2023-03-31
Project Status Granted (Fiscal Year 2021)
Budget Amount *help
¥4,160,000 (Direct Cost: ¥3,200,000、Indirect Cost: ¥960,000)
Fiscal Year 2022: ¥1,430,000 (Direct Cost: ¥1,100,000、Indirect Cost: ¥330,000)
Fiscal Year 2021: ¥910,000 (Direct Cost: ¥700,000、Indirect Cost: ¥210,000)
Fiscal Year 2020: ¥1,820,000 (Direct Cost: ¥1,400,000、Indirect Cost: ¥420,000)
Keywords歌三線 / 歌唱技能 / 歌唱フォルマント / 可視化 / 機械学習 / フォルマント / シンガーズフォルマント / 深層学習
Outline of Research at the Start

重要無形文化財「組踊歌三線」において、熟練者の歌唱技能は目下口伝のみによって伝承される。一方、昨今では様々な学術分野における科学技術の統合化が進められており、これによる新たな価値の創出が求められている。本研究課題では、歌三線と工学の異分野融合ならびに人と調和する技能伝承支援基盤の構築を実現するために、「熟練者」「AI」「システム」の境界領域に融合を促進する3つの基盤技術を確立する。これらの協働によって、熟練者の「知」と「技」をAIに転写し、AIと学習者の「調和的協働」を通じて伝統文化財の伝承・保存や歌三線の普及に向けた新たな価値の創出に貢献する。

Outline of Annual Research Achievements

今年度は、歌唱フォルマントの時間的な振舞いに着目し、熟練者に共通する音響特徴について分析を行った。その結果、熟練者は歌唱フォルマントという特定の周波数帯域(2400-4300Hz)を強調して歌うだけでなく、その帯域に複数のパワースペクトルを集中させる事でシンガーズ・フォルマント・クラスタを形成することが明らかとなった。加えて、そのシンガーズ・フォルマント・クラスタは、熟練者ほど歌唱時の音高や母音、子音の時間的変化によらず、パワーと周波数が安定して生起する傾向にある事が観測された。これは熟練者・経験者・初心者で声区の技術に差があることを示唆するものである。
次に、歌唱における音色の時間的変化を要素とする音色旋律に着目し、機械学習を用いて音響特徴を評価した。その結果、熟練者の歌唱には倍音成分が多く含まれ、音色のパターンも経験者や初心者と比べて多様であることが明らかとなった。すなわち、これらの熟練者に共通する音色特徴は歌唱における習熟度と相関があると思われる。
これらの知見に基づき、歌い手の習熟度に応じて分類することが可能になった他、従来の音高の時間変化による歌唱評価手法と比較して、人間の音楽的感性に基づいた歌唱の巧拙を判定することができると考えている。さらに、多次元のベクトルとして表出する音色を2次元に圧縮することで、音色旋律の時間的な振舞いを可視化する手法を提案した。歌三線の学習者は、可視化された音色の振舞いを真似る事で歌唱訓練を行うことができる。なお、これらの成果を知財として特許を申請中である。

Current Status of Research Progress
Current Status of Research Progress

3: Progress in research has been slightly delayed.

Reason

新型コロナウイルスの感染予防のため、予定していた沖縄県立芸術大学での歌唱データの取得や、打ち合わせが十分にできなかった。

Strategy for Future Research Activity

前年度に引き続き、技能伝承支援システムの開発を継続して行う。令和4年度上期では、以下の方針で技能向上のための適切な指導内容をフィードバックするためのAIの開発に取り組む。
(1)沖縄県立大学と連携し、これまでに得られた知見に対するフィードバックを得る。
(2)データ取得については、新型コロナウイルスの状況を鑑みつつ可能な範囲で実施する。
(3)最新の分析結果を取り纏め、Teams等を用いてコロナ禍においても、ディスカッションできる環境を用意し、助言やフィードバックを得て、更なる改善を行う。

Report

(2 results)
  • 2021 Research-status Report
  • 2020 Research-status Report
  • Research Products

    (7 results)

All 2022 2021 2020

All Journal Article (1 results) (of which Peer Reviewed: 1 results) Presentation (5 results) Patent(Industrial Property Rights) (1 results)

  • [Journal Article] Experimental Implementation of Fault Tolerance Using Dynamic Partial Reconfiguration on Xilinx Zynq-7000 SoC2021

    • Author(s)
      Ogido Seiya、Ichikawa Shuichi、Fujieda Naoki、Yamada Chikatoshi、Miyagi Kei
    • Journal Title

      IEEJ Transactions on Industry Applications

      Volume: 141 Issue: 2 Pages: 93-99

    • DOI

      10.1541/ieejias.141.93

    • NAID

      130007979756

    • ISSN
      0913-6339, 1348-8163
    • Year and Date
      2021-02-01
    • Related Report
      2020 Research-status Report
    • Peer Reviewed
  • [Presentation] 高位合成を用いた多層パーセプトロンの並列化手法に関する検討2021

    • Author(s)
      高良雄太郎
    • Organizer
      高専・豊橋技科大 IoT 共同研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] オートエンコーダを用いた歌唱技能の可視化手法に関する検討2021

    • Author(s)
      久高萌永
    • Organizer
      高専・豊橋技科大 IoT 共同研究会
    • Related Report
      2021 Research-status Report
  • [Presentation] 琉球古典音楽『歌三線』における歌唱法の音響的特徴2020

    • Author(s)
      我如古永士, 宮城桂, 山田親稔, 市川周一
    • Organizer
      電気学会次世代産業システム研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] FPGAを用いた畳み込みニューラルネットワークの高速化2020

    • Author(s)
      喜屋武聖也, 宮城桂, 山田親稔, 市川周一
    • Organizer
      電気学会次世代産業システム研究会
    • Related Report
      2020 Research-status Report
  • [Presentation] 雑音処理技術を用いた水中音声の統計的声質変換2020

    • Author(s)
      宮里龍太, 山田親稔, 宮城桂, 與那嶺尚弘, 市川周一
    • Organizer
      電気学会次世代産業システム研究会
    • Related Report
      2020 Research-status Report
  • [Patent(Industrial Property Rights)] 歌唱音声評価装置2022

    • Inventor(s)
      宮城桂
    • Industrial Property Rights Holder
      宮城桂
    • Industrial Property Rights Type
      特許
    • Industrial Property Number
      2022-058703
    • Filing Date
      2022
    • Related Report
      2021 Research-status Report

URL: 

Published: 2020-04-28   Modified: 2022-12-28  

Information User Guide FAQ News Terms of Use Attribution of KAKENHI

Powered by NII kakenhi